Čo na 8+ diskov?

[molnart]

ja sa s tym hram doma a som jediny uzivatel, takze fun factor je niekde inde.

Hardware nemusi byt rovnaky

musi, ked na jednom stroji mam (a pouzivam) 4 sietovky a na druhom mam len dva.

[mp3turbo]

nemusi. Ani sietovky nemusia byt rovnake (vyrobca, model, rychlost) ani ich pocet nemusi byt rovnaky.

[molnart]

a ako mi bude fungovat VM ktory potrebuje pre funkcnost 4 sietovky na masine kde su len dve? to by som musel vo vnutri VM meni dynamicky menit konfiguraciu. ano, technicky esxi by ho premigrovalo, ale nefungovalo by. rovnako si myslim ze by sa s tym OS nepopasoval ze bez rebootu namiesto xeonu ma bezat na atome (ano, to by sa dalo vyriesit emulaciou virtualneho cpu)

[mp3turbo]

mas namapovane fyzicke sietovky cez pass-through ? tie potom nemozes pouzit pre nic ine a neviem si predstavit naozaj potrebny pripad pre toto
mas vytvorene klasicke virtualne siete ktore su potom namapovane na fyzicke adaptery ? Toto je standartny pripad pre 99.9999% a pojde to.

pri virtualizacii mas predsa oddelene "sietovky" ktore sa mapuju do virtualnych masin od fyzickych sietoviek nainstalovanych na serveri.

ked mas styri "virtualne sietovky" pustene do VMky (styri VLANy, styri siete, styri hocico to nazveme), tak ich mas jednoducho len namapovane na ine fyzicke adaptery na inom serveri. Priklad :

virtualna masina pouziva siete vlan20 (192.168.199.0/24), vlan21 (55.88.99.12/26), vlan22 (10.200.250.233/25), vlan23 (1.1.1.8/22)
server01 : osem fyzickych sietoviek vymyslim si 10Gbit kazda
VLAN20 -> physical NIC 07
VLAN21 -> physical NIC 04
VLAN22 -> physical NIC 06
VLAN23 -> physical NIC 05

server02 : dve fyzicke sietovky vymyslim si 56Gbit kazda
VLAN20 -> physical NIC 01
VLAN21 -> physical NIC 02
VLAN22 -> physical NIC 01
VLAN23 -> physical NIC 02

a samozrejme tomu zodpovedajuce fyzicke zapojenie do switchov, ich konfiguracia (VLANy, traffic shaping, LAG LACP atd). Do virtualky nepustas fyzicke sietovky, mas tam namapovane styri "siete" alebo im zodpovedajuce "virtualne sietovky".

Server02 moze mat kludne aj 10Gbit sietovky, moze to byt mensi / lacnejsi / stary server, pouzivany napr. pre fail-over v pripade katastrofy prveho hlavneho takze nejake kompromisy sa najdu. atd, atd

PS : typicke virtualky nepotrebuju 64 jadier, 512GB RAM, styri sietovky, dvesto TB SSD atd.


Vo VMware si dokonca urcujes, aky typ trafficu ma ist na aku fyzicku sietovku :
http://vcloud-lab.com/files/resized/562 ... bb568a.png
http://vcloud-lab.com/entries/vcenter-s ... si-storage

vMotion (presuvanie zivych virtualiek z jedneho servera na druhy), iscsi, fault tolerance traffic (to je ta synchronizacia respektive "zdvojenie" zivych VMiek ktore teraz spominame), VSAN je virtual san (storage riesenie kedy vmware samotny spravi krizomkrazom cez mnohe fyzicke servery distribuovany storage)... nie kazda sietovka posiela akekolvek/vsetky data do siete.


Pocet sieti ktore potrebuje VM sa nerovna pocet fyzickych adapterov v serveri.

V tomto border-case pripade co preberame, teda virtualka ochranena cez FaultTolerance v ESXi, sa jedna o funkcionalitu, ktora musi byt co najviac online, ktora neznesie akykolvek vypadok (riadenie vyrobnych procesov), o aplikacie ktore nemaju najmensie tusenie o redundancii, clustrovani atd, o aplikaciach ktore nevedia bezat active-passive alebo active-active blablabla. Active Directory nepotrebuje takuto vec - AD je nativne distribuovane a redundantne na aplikacnej urovni. Print Server nepotrebuje takuto vec, ked ti zhasne fyzicky server, tak sa virtualka automaticky restartne na inom serveri pokial to mas nakonfigurovane a za dvadsat sekund bezis zas, v najhorsom pripade jeden-dvaja klienti potlacia jeden-dva print joby zo svojej queue na novorestartnutu VMku [na inom fyzickom serveri o com vobec nevedia] a tlaci sa veselo. V typickom pripade sa netlaci kazdych 20 sekund (robil som v 800 chlapovej firme) takze si ziadny takyto vypadok vobec nevsimnes.

FT je na inom leveli, to nemame doma ako pouzit. Skutocne existuju dve absolutne rovnake VMky, synchronizovane real-time na urovni procesorovych registrov. Bezia v nepriestrelnom tandeme, je to absolutne zrkadlo. Takuto funkcionalitu nema nikto iny, je to absolutny unikat. Ano, tvrda poziadavka je aby taka VMka nepouzivala pass-through zariadenia cize nemozes komplet celu sietovku na urovni hardware premapovat do tej VMky a pouzivat ju vyhradne tam. Uprimne, na taketo pouzitie nevidim vela dovodov.

[zoom]

molnart: Windows Server mi bezi preto, lebo som Windows clovek a tu VM/NAS pouzivam ako stroj, ktory bezi nonstop. Takze vsetko, co si zmyslim... zdielanie, torrent klient, FTP server, rozne softy na skusanie, hranie sa s Kodi/HTPC, skumanie a ucenie sa a tak. A kedze nemam rad Linuk, tak si to ako clovek zijuci po roku 2000 rad vyklikam vsetko v GUI. Ale chapem, ze sa najde 100 ludi, ktori urobia takto najsamjednoduchsie vsetky tie veci na Linuxe... ja medzi nich nepatrim. Virtualka inak bezi doteraz, takze Win Server 2022 povazujem za stabilny pod KVM.

Ale totok som chcel:
- Workaround na rychle odhlasovanie Web GUI v TrueNAS SCALE je tu. Odskusal som, funguje.
- Nasiel som problem, ze VM v TrueNAS nevie komunikovat s hostom, cize sa nedostane ani na zdielane ulozisko. Riesenie je tu. V podstate zo stavu "mame sietovku, ta ma priradenu IP adresu a je bridgovana do VM" sa dostaneme do stavu "vyrobime bridge sietovku v TrueNAS, do nej pridame tu fyzicku sietovku a tomu bridgu pridelime IP adresu a VM potom napojime na bridge" Tiez odskusane, funguje.
- Ostava mi vyriesit rychle odpajanie VNC v browseri do VMs. Akoze... kludne aj za 30 sekund je schopne sa to odpojit a treba refreshnut stranku (F5) a napoji sa, ale je to extra otravne. Workaround v prvom bode na to zrejme nema vplyv.

[mp3turbo]

skus tie VMky v browseri otvarat v samostatnych oknach - browsery maju "tab sleep" standartne zapnute ; myslim ze to neplati pre "dedicated window" cize okno s browserom kde mas otvorenu jednu jedinu Tab. Moze sa vsak stat ze browser bude uspavat aj dedicated window pokial nie je active.

inak pozeram firefox (about:config a hladam browser.tabs), nasiel som napr.

browser.tabs.min_inactive_duration_before_unload [tomuto davam velku sancu]
browser.tabs.unloadOnLowMemory [neviem kolko mas memory, ci bezis browser vo virtualke atd]
browser.tabs.remote.desktopbehavior [nemyslim ze toto suvisi]

[molnart]

ako licencujes windows server? trial funguje tusim 180 dni a asi sa da nejako predlzovat, ale je to otrava. crackovat sa mi nechce a na win server na lacne par eurove kluce som nejako nenarazil.
celkovo mam ale radsej commandline, uz dlhsie uvazujem nad TrueNAS, ale pride mi ze velmi forcuje web interface

[mp3turbo]

ja mam Server z legalneho zdroja (no nemam ho asi uplne legalne ked ho pouzivam doma, ze) ; keysfan.com mali kluce za 22$, teraz tusim vidim 54$

inak neviem, zda sa mi ze funguje aj po 180 dnoch... toto som nikdy neriesil. Dockaj, kuknem : ano, mam virtualky ktore uz idu cez rok a nie su zalicencovane. Ide o to, aky image pouzijes pri instalacii, my mame tie Corporate blablabla.

Lámať a liečiť silno nedoporucujem, nikdy nevies akych "kamaratov" si nastahujes pri tejto aktivite.

[zoom]

Ten tip s uspavanim tabov bol fajn, ale nepomohlo. Pouzivam teda Chromium (SRware Iron), nakolko som sa za posledne roky dopracoval k tomu, ze totalne opovrhujem Firefoxom. Skusal som vypnut uspavanie tabov na tej konkretnej IP v nastaveniach, ale nepomohlo. Dokonca som v hidden nastaveniach (chrome://discards/) vypol discardovanie tych tabov, ale nic. Ono to zrejme iniciuje to webove VNC na tom TrueNAS Scale. Vtip je v tom, ze rovnake VNC bolo pouzite aj pri Core (BSD) a tam to nerobilo.

Win Server pouzivam... uuh, taky vselijaky. Kebyze sa idem hrat na korektneho, tak mozem povedat, ze mam MSDN licenciu a tak nejak to vyuzijem. Alebo by som to este mohol prehodit na lacny Win 10. Ale takto mam tak trochu piece of mind bez MS bloatwaru, na ktory sice mam PowerShell skripty, ale tak naco to tam pchat. Inak ten Server asi naozaj zavisi od imagu, lebo standardne, ked uz je vyexpirovany, sa Win Server sam vypne po hodine.

No a pokial teda ti vadi web TrueNASu a si v Linuku ako doma, tak... preco proste nenainstalovat cisty Linuks a tam si sam zrobit diskove pole a vsetko? Sice to bude ako v 1995, ale ked to tak vyhovuje preco nie. Ja chcem UI, lebo ma to oslobodi od vsetkeho tohto. Este sa da zabavat aj s UnRAIDom, ale s nim nemam skusenosti. Tiez by mal viacmenej fungovat.

[molnart]

mne zatial vyhovuje openmediavault, UI dost pomoze s nastavovanim, ale prakticky hocico si mozem prisposobit cez command line. docker tam manazujem prakticky cely cez cez prikazovy riadok a docker compose subory. sice mam este nahodeny aj portainer, ale cez ten sledujem len logy, predsalen je to jedonduchsie. na truenas sa mi zada ze cely docker schovany za ten ich "store" a keby som chcel odtial premigrovat kontajnery na ine VM tak neviem uplne ako by som to robil. teraz len skopirujem lokalne data a docker compose subor a za 5 minut mi to bez na druhej masine.
unraid som uz tiez pozeral dlhsie, ale tam sa mi protivi ze to bezi z USB-cka a z nicoho ineho. aj ti co to prevadzuju ako VM to maju tak ze je tam nastavene passtrough na fyzicky USB kluc.

[mp3turbo]

v com sa ti to protiví ? kup nejake spolahlive USB co maju vela prepisov (kingston high endurance, samsung pro endurance ci co to maju) a hotovo.
uz som dokonca videl aj zalohovanie na USB kluce, 1TB ci 2TB kazdy, zopar napichanych v masine a hajde. Ano to uz je naozaj moc ale funkcne.

Mr.Zoom : skoda teda to asi nebude client-side zalezitost, ale server-side ?

[zoom]

Po malej prestavke som prisiel nadavat na TrueNAS Scale. Aby ludia vedeli. Zadovazil som 6 vacsich diskov a isiel ich vsetky postupne vymenit. Kedze vsetky SATA porty v PC su obsadene, tak postup je celkom jasny: vypnut NAS, nahradit jeden disk za novy, zapnut NAS, nechat pole rebuildnut (resilver) a toto opakovat 6-krat. Nic zlozite, len zdlhave.

Prvy fail zacal pri meneni diskov. Mam vo zvyku disky zoradit podla seriovych cisiel a tie pekne za sebou naukladat do SATA portov. Takto je to autisticky/OCD prijatelne a navyse viem, ktory disk je kde, ak by ho bolo treba vymenit. Lenze cely dementny TrueNAS prehadzuje poradie diskov v GUI ako sa mu paci. Raz je seriove cislo X na pozicii /dev/sda1, po restarte je na /dev/sdc1, a potom zase inak. Cele GUI je uplne neschopne pracovat s tymto zoznamom. Vyberiem z NAS prvy disk, nahradim ho, nastartujem a v GUI vidim uplne nezmysly. Hoci som vybral prvy disk, tak ukazuje, ze je to /dev/sdb1 (napriklad), seriove cislo nesedi -- co je uplna volovina. Kliknem na ten riadok, kde je ten UNAVAILABLE disk a tam svieti uplne ine seriove cislo, nez ma vybraty disk na stole. Riadky v zozname diskov nejako nesedia. Jeden riadok je dvojmo a dokopy napocitate 5 diskov. Clovek vobec netusi, ci ide replacovat spravny disk. Nakoniec som sa naucil, ze to vsetko treba ignorovat, kliknut na ten UNAVAILABLE riadok a len ho slepo Replacnut novym. To je tiez dalsia sranda, lebo replacujem /dev/sda1 novym diskov (na rovnakom SATA porte), ale v GUI vyberiem, ze vlastne /dev/sda1 replacujem z /dev/sdf... uplne mimo.

Toto trva zo 2 dni. Nakoniec su vsetky disky vymenene a pole stale funguje. Maly zazrak. Je cas expandnut Vdev, aby sa nafukol na novu, vacsiu velkost diskov. Na to mame v GUI prijemne tlacitko Expand. *Klik* a...

Spoiler: ukázať

pool_expand_fail.png

Toto dodrbe dany disk a mozeme zase 4 hodiny resilverovat. Mozno som mal rebootnut po tom poslednom Replacnuti disku. Okej, tak sa skonci resilver, radsej vypnem a zapnem pole a zase Expand. Bum, to iste. Dalsi resilver, dalsi pokus. To iste. Tak teda treti resilver, lenze... ten sa uz akosi nedari:

Spoiler: ukázať

pool_expand_fail_2.png

Uf. Vypenm pole, zapnem... disk je v nejakom medzi-stadiu, lebo bud je pri nom tlacitko Offline alebo Online, podla toho, ci je aktivny v poli a mozem ho vypnut alebo naopak. Pri tomto disku svietia obidve tlacitka naraz (Offline aj Online). Great success. Nejako som to dal dokopy a od celeho GUI Expand tlacitka som dal ruky prec. Long story short je, ze som to nakoniec musel cele fixnut cez command-line v Lisuxe, kde som cez parted skumal particie, tieto manualne rozsiril na cely disk (okrem poslednych ~2MB) a nasledne rucne expandol pole (kazdy disk cez "zpool online -e PoolName DiskID").

Neviem, ci toto je fail cisto lisuxoveho TrueNAS Scale, alebo celeho TrueNAsu, ale je to uplny vysmech. Totalne som stratil akukolvek doveru k tej haraburde. Ak toto predavaju ako nejake robustne riesenie pre firmy, tak to je uplne, ale ze uplne mimo. Kebyze viem, ze sa to tyka len Scale, tak migrujem nazad na BSD TrueNAS napriek ich totalne vyfailovanej VM casti. Jednoducho je to presne taky ten obrazok celeho "moderneho" Linuku, kde nic nefunguje, ako by malo, vsetko je ukrutne open, free, cool a in, ale stoji to za hovno a clovek moze riesit uplne podivnosti a preco 2 + 2 je 3. Toto som nezazil na fanusikovskych projektoch ako XigmaNAS (NAS4free) za dlhe roky pouzivania. Normalne mam chut vyskusat/prejst na Unraid, ale stale este trochu viac verim ZFS RAID-Z2 nez nejakemu ich hybridnemu RAIDu, ktory ktovie ako alokuje disky.

Jo a ako som riesil to rychlo-sa-odpajajuce web VNC do virtualky... tak oni cele to rozhranie v jednom bode zmenili a nahradili ho SPICE. Myslel som, ze fajn, nieco nove, bude to konecne fungovat. Vysledok je, ze to funguje este horsie ako ta predosla verzia. Je jedno, ako to nastavim, ci nainstalujem SPICE Guest ovladace do VM... odpaja sa to furt (castokrat po 20 sekundach kukania inam), neda sa to tak rychlo reconnectnut ako stare VNC, nefunguje tam numpadova klavesnica (lol)... proste zase taky moj klasicky obrazok linuxovych rieseni kde vcera znamena zajtra. Nepoznam zatial inu alternativu k TrueNAS okrem ich BSD casti ci Unraidu.

[molnart]

to ze disky zmenia poziciu pri restarte je znama "feature" linuxu, preto sa v fstab a aj inych miestach sa pouziva UUID (ktore ale nie je zapamatelne vobec). podobne sa spravaju aj sietovky, preto uz nenajdes oznacenie ako eth0, eth1 apod. k ostatnemu sa neviem vyjadrit, ale z roznych dovodov sa mi zda migracia z OpenMediaVault na TrueNAS stale menej atraktivna...

[faugusztin]

Ja idealne vsade pouzivam adresar /dev/disk/by-id/. Kde potom vidis zaznamy ako:

Kód: Vybrať všetko

lrwxrwxrwx 1 root root    9 Dec  2 00:25 ata-SAMSUNG_SSD_830_Series_S0Z4NEBC802047 -> ../../sdh
lrwxrwxrwx 1 root root   10 Dec  2 00:25 ata-SAMSUNG_SSD_830_Series_S0Z4NEBC802047-part1 -> ../../sdh1
lrwxrwxrwx 1 root root   10 Dec  2 00:25 ata-SAMSUNG_SSD_830_Series_S0Z4NEBC802047-part2 -> ../../sdh2
lrwxrwxrwx 1 root root   10 Dec  2 00:25 ata-SAMSUNG_SSD_830_Series_S0Z4NEBC802047-part3 -> ../../sdh3
lrwxrwxrwx 1 root root    9 Dec  2 00:25 ata-WDC_WD60EFRX-68MYMN1_WD-WXL1H847KJLR -> ../../sdg
lrwxrwxrwx 1 root root   10 Dec  2 00:25 ata-WDC_WD60EFRX-68MYMN1_WD-WXL1H847KJLR-part1 -> ../../sdg1
lrwxrwxrwx 1 root root   13 Dec  2 00:25 nvme-SAMSUNG_MZVLB256HAHQ-000L7_S41GNX2M647115 -> ../../nvme3n1
lrwxrwxrwx 1 root root   13 Dec  2 00:25 nvme-SAMSUNG_MZVLB256HAHQ-000L7_S41GNX2M647115_1 -> ../../nvme3n1
lrwxrwxrwx 1 root root   15 Dec  2 00:25 nvme-SAMSUNG_MZVLB256HAHQ-000L7_S41GNX2M647115_1-part1 -> ../../nvme3n1p1
lrwxrwxrwx 1 root root   15 Dec  2 00:25 nvme-SAMSUNG_MZVLB256HAHQ-000L7_S41GNX2M647115-part1 -> ../../nvme3n1p1
lrwxrwxrwx 1 root root   13 Dec  2 00:25 nvme-SAMSUNG_MZVLB256HAHQ-000L7_S41GNX2M647133 -> ../../nvme2n1
lrwxrwxrwx 1 root root   13 Dec  2 00:25 nvme-SAMSUNG_MZVLB256HAHQ-000L7_S41GNX2M647133_1 -> ../../nvme2n1
lrwxrwxrwx 1 root root   15 Dec  2 00:25 nvme-SAMSUNG_MZVLB256HAHQ-000L7_S41GNX2M647133_1-part1 -> ../../nvme2n1p1
lrwxrwxrwx 1 root root   15 Dec  2 00:25 nvme-SAMSUNG_MZVLB256HAHQ-000L7_S41GNX2M647133-part1 -> ../../nvme2n1p1
lrwxrwxrwx 1 root root   13 Dec  2 00:25 nvme-SAMSUNG_MZVLB256HAHQ-000L7_S41GNX2M676611 -> ../../nvme0n1
lrwxrwxrwx 1 root root   13 Dec  2 00:25 nvme-SAMSUNG_MZVLB256HAHQ-000L7_S41GNX2M676611_1 -> ../../nvme0n1
lrwxrwxrwx 1 root root   15 Dec  2 00:25 nvme-SAMSUNG_MZVLB256HAHQ-000L7_S41GNX2M676611_1-part1 -> ../../nvme0n1p1
lrwxrwxrwx 1 root root   15 Dec  2 00:25 nvme-SAMSUNG_MZVLB256HAHQ-000L7_S41GNX2M676611-part1 -> ../../nvme0n1p1
lrwxrwxrwx 1 root root   13 Dec  2 00:25 nvme-SAMSUNG_MZVLB256HAHQ-000L7_S41GNX2M676878 -> ../../nvme1n1
lrwxrwxrwx 1 root root   13 Dec  2 00:25 nvme-SAMSUNG_MZVLB256HAHQ-000L7_S41GNX2M676878_1 -> ../../nvme1n1
lrwxrwxrwx 1 root root   15 Dec  2 00:25 nvme-SAMSUNG_MZVLB256HAHQ-000L7_S41GNX2M676878_1-part1 -> ../../nvme1n1p1
lrwxrwxrwx 1 root root   15 Dec  2 00:25 nvme-SAMSUNG_MZVLB256HAHQ-000L7_S41GNX2M676878-part1 -> ../../nvme1n1p1
atd

Pripadne ak das diskom label, tak su v /dev/disk/by-label (resp. labelovane particie v by-partlabel).

Takze nemusim riesit ze ci je Samsung SSD 830 so seriovym cislom S0Z4NEBC802047 aky /dev/sdx, ale proste vsade kde mam odkazovat na disk pouzijem /dev/disk/by-id/ata-SAMSUNG_SSD_830_Series_S0Z4NEBC802047 (pripadne -partX pre odkaz na konkretnu particiu).

[mp3turbo]

.

by nabudilo na plafon aj nonOCD kompulzáka... idealne ked tam mas obesenych 30 terra alebo tak.

Ja razim taku filozofiu ze storage chcem mat absolutne jednoucelovy box ale zase to ber ako od polomagora co sa bezne pohybuje pri 100+ diskovych skrinkách.