local LLM, AI, Vibe Coding

[lepermessiah]

ako pise @LordKJ , aj u nas sa robi 80% kodu uz len cez Claude. tych 20% je kolega, ktory odmieta zmenu, ale je taky dobry, ze to AI nepotrebuje ale zas nejake konverzie Figmy robi aj on, no Vue cez Claude je unho no-go.

Je ale naozaj potrebne rozlisovat mediora/seniora, ktory zada presnu specifikaciu a ladi ju kym s nou nie je spokojny a az nasledne pusta code a vibe-coding nejakeho SEOckara, ktory netusi co ten kod robi na pozadi, netusi, preco API kluc pre OAuth nemoze mat v HTML len tak vlepeny, netusi o com je zakladna sanitizacia inputov ani nic .. proste spravil appku za 3 hodiny, mne vynada ze co mne na tom trvalo 8 a je spokojny. Potom mu to ja "hacknem" (rozumej pochopim diery v jeho kode a ukazem mu 5 sposobov ako mu pokazit radost) a s opravovanim je na 12h. Mam kopec znamych, ktori z nicoho boli "klikaci" sablon na WP, neskor sa vyspeficikovali na Elementor alebo Bricks alebo Oxygen a teraz s AIckom su machri, ze lepia weby cez noc kym spia cez Claude a Astro, no layout sa rozpada, appka ma 4MB skriptov a pod.

[LordKJ]

vela je aj o tom ci sa zdiela knowledge (t.j. neopakuju sa potom rovnake chyby, code style v ramci celej codebase), su nasetupovane AGENTS.md a podobne...

Pisanie specifikacie - resp. "dialog" s agentom ohladom specky je najdolezitejsi. Tam sa vysvetli drviva vacsina problemov a potom uz samotna implementacia moze bezat v pozadi kym clovek riesi nieco ine. Len sa budem opakovat na to aby ta specka davala zmysel musi ten clovek vediet co od toho chce a mat prehlad o tom co je este OK a co uz nie. Mam uz kolegov co zacali pouzivat speech-to-text lebo sa im nechce pisat


Zaujimave veci to dokaze napr. ked tomu date pristupy k roznym datovym zdrojom. Napr. agent, ktory sa spusti pri incidente a pozrie sa na posledne releases, codebase, logy, apm a ma za par minut prvy sumar problemu (a pripadne aj fix) zatial co on call clovek este len startuje pc...

[zoom]

aky HW na to pouzivas a tps dosahujes ?

Pouzivam to na mojom stroji, ako som pisal predtym, tj. 5070 Ti 16GB, 96GB RAM. Rychlosti su rovnake ako v tabulke predtym. Ten gpt-oss 120B ide tych 7, obcas 9 tps. Nemotron 3 Nano da 14 tps (90-100% GPU util). Qwen3 Coder Next 80B da nieco cez 5 tps (~50% GPU util). Tych 10-15 tps je pre mna taky pain threshold. Nepouzivam to na interaktivne doplnanie kodu alebo co, nie som programator. Som taky glorifikovany indicky zliepac kodu/skriptov - vacsinou PowerShell, obcas som zabrdol aj do T-SQL. Preto mi staci take jednoduche pouzitie, kde nepotrebujem navrhovat cele aplikacie. Skor napady, logicke otazky, obcas code review a tak. 80% zvedavost, 20% realne pouzitie.

Ten GLM 4.7 s 200-230GB RAM (podla context window) bezal na pracovnej stanici, co tu prave mam. Tam je vsak nejake stare Quadro, takze je to skor graficky decelerator a cele to slo tak <1 tps. Dost nepouzitelne, ale zaujimalo ma, ako sa s tym bude robit.

Inak to porovnanie s WP je take akuratne. Vibe coding je dnesne "programovanie" web stranok vo FrontPage ci este lepsie vo Worde (ekvivalent lepsieho a horsieho LLM). Ten, kto nevie nic alebo malo, tak ma v rukach silny nastroj. Len s tym nemoze robit bez rozmyslu vsetko (= celofiremna enterprise stranka vo FrontPage).

Na druhu stranu, poznam realny priklad, kde sa custom vnutropodnikovy system nedal pouzivat poriadne cez VPN. Ked som to riesil, sniffoval, databazoval, tak som zistil, ze je to (ludmi) napisane tak, ze pri scrollovani tabulky v okne sa jednoducho pri kazdom posune znovu a znovu dopytuje databaza. Nie ze si vylistujem napriklad zoznam v sklade a to sa rozparsuje do okna na viac stranok, ale kazdym posunom v tabulke sa nacitavali dalsie a dalsie hodnoty (aj tie, co uz boli predtym nacitane)... realne to robilo traffic radovo v MB/s. Tipujem, ze to by sa s lepsim LLM nestalo.