local LLM, AI, Vibe Coding

[drastyk]

OK, ja asi nebudem dobra vzorka na toto okrem toho, ze vlastne 2 tyzdne bojujem s tym, aby mi aspon nejako fungoval OS na tom uzasnom laptope, tak pocas generovania to vyuzivalo GPU na 10% a CPU na 38% v priemere, cize bude asi nie idealne porieseny environment pre beh LLM. Videl som, ze sa riesia nejake ROCm a neviem co pre AMD GPU ale mna to akosi obchadza, zatial som vo faze, aby mi aspon monitor zaplo ked pripojim kabel

Vysledky viac ako smiesne .. 5.53 tok/sec | 1860 tokens | 13.17s (a to som si vypol prehliadace a Electron appky, aby mi to zralo menej RAM, no ten model mi v RAM berie len 20GB, co je asi dost malo)

EDIT: ked som dal na GPU Offload zo 7 na 25, tak mi GPU zataz stupla na 25%, ale .. 6.59 tok/sec | 1945 tokens | 8.66s. Teda predpokladam, ze ja to CPU/GPU budem mat uplne zle poriesene, ale s tym Strix Halo je peklo cokolvek rozchodit, polka veci v tom notebooku nefunguje ani na predinstalovanom Ubuntu. To by sa na Inteli nestalo.

V skratke ten model je moc velky na 64 Gb, mozno ho rozchodis ale offload cez CPU. Odporam RAM nastavit na 32/32. lebo potrebujes mat este nejake rezervy na kontext a pod veci, system adt. A dat naloadovat model iba do velkosti vRAM.

[Chris]

aky mini pc si kupil ?

[drastyk]

gmktec evo-x2

[zoom]

Ma tu niekto rozbehane agentske programovanie na localhoste? Chcel by som sa tomu povenovat, ale... nejako mi to uplne nejde. Nie ze by som tomu venoval nejaky podstatny cas.

Moj ciel je mat lokalny model a do istej miery klonovat pracu Codexu ci Claude Code. Samozrejme s hlupejsimi vysledkami, ale chcem sa hrat. Ide mi o to dostat sa za hranicu bezneho chatovania a realne pustit agenta na ulozenom projekte s XY subormi a nech si to tam kludne 1-2-3 hodiny chrume. Ci uz samostatny program, alebo nieco, co bude spolupracovat napr. s LM Studio.

Bavime sa o Windows svete (a chcem sa vyhnut aj WSL). Vsetci ospevuju OpenCode, ale tak skusal som ich Desktop (GUI) verziu a ziadna slava. Typicka open-sourcovina, cize nainstalujes, otvoris, maximalne neprehladne a neintuitivne, presmerujes ho na cisty novy adresar, vyhodi 3 nicnehovoriace chyby a je koniec skusania.

Cital som, ze OpenChamber je polished, ale je len pre kidsOS. Windows a Linuk Desktop aplikacia je v roadmape, tak mozno casom.