llama-fit-params
Len pre porovnanie, mne s 200k contextom, q4 k/v cache (za cenu nizsej spotreby RAM a vyssej rychlosti) pri nastaveni a modeli unsloth/Qwen3.6-35B-A3B-GGUF v UD-IQ3_XXS kvantizacii obsadi ~13GB VRAM a pri uvodnom requeste z Claude Code (~27k tokenov) mi to robi prompt processing ...
Bolo nájdených 8658 zhôd
- Po 04. Máj, 2026, 20:28
- Fórum: Programovanie
- Téma: local LLM, AI, Vibe Coding
- Odpovedí: 46
- Zobrazení: 17436
- Ne 03. Máj, 2026, 13:34
- Fórum: Programovanie
- Téma: local LLM, AI, Vibe Coding
- Odpovedí: 46
- Zobrazení: 17436
Re: local LLM, AI, Vibe Coding
Tieto veci funguju pre MoE modely. Ty skusas Gemma3-27B, co je "dense" model. Skus s MoE modelom, napriklad Gemma4-26B-A4B alebo Qwen3.6-35B-A3B.
- Ne 03. Máj, 2026, 07:40
- Fórum: Programovanie
- Téma: local LLM, AI, Vibe Coding
- Odpovedí: 46
- Zobrazení: 17436
Re: local LLM, AI, Vibe Coding
No, to je otazka, ktoru ti ja uz nezodpoviem, ale v principe medzi Claude Code a RooCode v pripade pouzitia rovnakeho modelu budu rozdiely iba v tom, ze co ma ktory nastroj ako system prompt + ake nastroje poskytuje LLM. Ja osobne som mimo rychlosti prvotneho prompt processingu (Claude ma 20k ...
- So 02. Máj, 2026, 13:20
- Fórum: Programovanie
- Téma: local LLM, AI, Vibe Coding
- Odpovedí: 46
- Zobrazení: 17436
Re: local LLM, AI, Vibe Coding
Od 9B a vyssie to uz ide pomaly, pod Q4_K_M nema zmysel ist. Niektore verzie Qwen nevedeli spravne nakodit ani jednoduchu appku v pythone a tkinter, zobrazujucu cas a datum. Netusim, preco existuje XY verzii jedneho modelu (napr. Qwen 3.5, Gemma 3) od XY uzivatelov na Huggingface. Taky, onaky model ...
- So 02. Máj, 2026, 10:48
- Fórum: Programovanie
- Téma: local LLM, AI, Vibe Coding
- Odpovedí: 46
- Zobrazení: 17436
Re: local LLM, AI, Vibe Coding
zoom Problem je nutne rozdelit na 3 casti - vyber modelu (podla dostupneho HW), vyber LLM servra a vyber klienta.
Model - v zavislosti od velkosti dostupnej VRAM a memory bandwidth si vyberies model, jeho kvantizaciu, kvantizaciu KV cache, velkost kontextu a pripadny offloading urcitych casti do ...
Model - v zavislosti od velkosti dostupnej VRAM a memory bandwidth si vyberies model, jeho kvantizaciu, kvantizaciu KV cache, velkost kontextu a pripadny offloading urcitych casti do ...
- Po 09. Feb, 2026, 18:52
- Fórum: Programovanie
- Téma: local LLM, AI, Vibe Coding
- Odpovedí: 46
- Zobrazení: 17436
Re: local LLM, AI, Vibe Coding
Ale zaujimalo by ma, komu sa co osvedcilo na programovanie. Ked si citam internety, tak kazdy tyzden je to nejaka ina uplne prevratna vec. Ked nie qwen3-coder-30b , tak aquif-3.5-max-42b . A ked nie to, tak potom kwaipilot_kat-dev-72b , ale len do prichodu toho a tamtoho...
Ja pustam CPU only a ...
- Pi 07. Jún, 2024, 10:47
- Fórum: Hardware všeobecne
- Téma: 100m cat 7a kabel
- Odpovedí: 17
- Zobrazení: 11495
Re: 100m cat 7a kabel
A este k tomu "natahanym v plastovej trubici" - dufam ze sa bavime o zakopani toho kabla do zeme do nejakej hlbky aspon 1m, aby si pri nahodnom udere blesku neodpalil hned 2 domy. Pri optike toto nemusis riesit.
- Po 13. Máj, 2024, 16:26
- Fórum: Programy a problémy s nimi
- Téma: ako spustit Java program z GitHub
- Odpovedí: 3
- Zobrazení: 5304
Re: ako spustit Java program z GitHub
Skompilovanu verziu si stiahnes z release stranky, subor gpkg2dxf.zip - https://github.com/sourcepole/gpkg2dxf/releases . Odkaz na release stranku najdes na Githube vzdy na pravej strane, medzi sekciou About a Contributors.
- Št 28. Mar, 2024, 09:47
- Fórum: Pevné disky, SSD, M.2, úložný priestor a mechaniky
- Téma: Custom NAS alebo "znackovy" NAS
- Odpovedí: 106
- Zobrazení: 153108
Re: Custom NAS alebo "znackovy" NAS
To je vizualne rovnake, ale interne ine, teda co sa tyka spodnej casti. To co mal Craft Computing malo 8x 3.5 vertikalne sachty a zmestil sa tam iba TFX zdroj. Jonsbo ma 6x3.5 + 2x 2.5" horizontalne, a SFX zdroj. To bola jeho hlavna vytka. Montaz pre fan je tiez ina.
Druhy problem bol priestor pre ...
Druhy problem bol priestor pre ...
- Pi 22. Mar, 2024, 13:03
- Fórum: Pevné disky, SSD, M.2, úložný priestor a mechaniky
- Téma: Custom NAS alebo "znackovy" NAS
- Odpovedí: 106
- Zobrazení: 153108
Re: Custom NAS alebo "znackovy" NAS
U DIY NAS nedosiahnes spotrebu znackoveho NAS. Moje vyssie uvedene DIY NAS zralo okolo 40W v idle a to este doska umoznovala napajanie notebookovym 19V adapterom. Ak by som tam musel dat ATX zdroj, tak to zerie este viac + hluk jeho fanu. Syno DS720+ zerie asi 20W. Za X rokov pouzivania to nieco ...
- Pi 22. Mar, 2024, 10:34
- Fórum: Pevné disky, SSD, M.2, úložný priestor a mechaniky
- Téma: Custom NAS alebo "znackovy" NAS
- Odpovedí: 106
- Zobrazení: 153108
Re: Custom NAS alebo "znackovy" NAS
V principe skoncis na otazke ze ci vyzadujes QNAP/Synology NAS UI alebo ti postaci UI a funkcionalita ako ma napriklad OpenMediaVault. Ak ti postacuje OMV, tak urcite by som isiel cestou vlastneho buildu, Ryzen 1. generacie z toho Synology je uz dost stara technologia.
- St 03. Jan, 2024, 10:18
- Fórum: Skúsenosti s predajcami
- Téma: AliExpress
- Odpovedí: 335
- Zobrazení: 294901
Re: AliExpress
Plus si musite uvedomit logisticke problemy v Cervenom mori momentalne, takze je celkom dobre mozne, ze urcite dolezitejsie zasielky obsadili kapacitu na lietadlach a na nase baliky s 1 eurovymi kablikmi s postou zadarmo proste neostali kapacity.
- Ut 02. Jan, 2024, 20:49
- Fórum: Reklamácie a paragrafy
- Téma: zážitky s alza.sk
- Odpovedí: 989
- Zobrazení: 426167
Re: zážitky s alza.sk
Toto ma Alza ale hodne dlhu dobu, minimalne v BA. V januari 2023 to uz so mnou riesili v BA takto, ze ked som mal zadanu reklamaciu cez web, tak sup riesit cez automat a box v stene.
- Ut 02. Jan, 2024, 14:12
- Fórum: Programy a problémy s nimi
- Téma: Microsoft 365
- Odpovedí: 2
- Zobrazení: 4145
Re: Microsoft 365
Pripadne si pozerat zlavy na elektronicke licencie na Alza/Amazon.de, ak ti to nesuri... Ja som takto kupil 27 mesiacov za 105 euro (momentalne je to za nezlavnenu cenu 144 euro - https://www.amazon.de/gp/product/B09MV4H12L/ ). Potom si obdrzany kod iba nahodis do Microsoft konta a hotovo.
- Ut 26. Dec, 2023, 02:22
- Fórum: Pevné disky, SSD, M.2, úložný priestor a mechaniky
- Téma: Čo na 8+ diskov?
- Odpovedí: 105
- Zobrazení: 45375
Re: Čo na 8+ diskov?
Ja idealne vsade pouzivam adresar /dev/disk/by-id/. Kde potom vidis zaznamy ako:
lrwxrwxrwx 1 root root 9 Dec 2 00:25 ata-SAMSUNG_SSD_830_Series_S0Z4NEBC802047 -> ../../sdh
lrwxrwxrwx 1 root root 10 Dec 2 00:25 ata-SAMSUNG_SSD_830_Series_S0Z4NEBC802047-part1 -> ../../sdh1
lrwxrwxrwx 1 root root 10 ...
lrwxrwxrwx 1 root root 9 Dec 2 00:25 ata-SAMSUNG_SSD_830_Series_S0Z4NEBC802047 -> ../../sdh
lrwxrwxrwx 1 root root 10 Dec 2 00:25 ata-SAMSUNG_SSD_830_Series_S0Z4NEBC802047-part1 -> ../../sdh1
lrwxrwxrwx 1 root root 10 ...
