Instalacia Ubuntu na Intel RST

[lepermessiah]

Ahojte,

snazim sa na starsom PC (i3-6100, Gigabyte Q170M-D3H) nainstalovat Ubuntu na RAID1 pole vytvorene cez Intel Rapid Storage priamo v BIOSe (2x 500GB 870 EVO). Po vytvoreni mam healhy Volume1, pichnem USB, bootnem, dam instalaciu, vyberiem nejaky sialeny nazov xxx-asdfasgadga-Volume1 ako jediny dostupny disk, automaticke particie a instalacka zbehne. Restartnem a uz mam Volume1 v Rebuilding stave, do Ubuntu sa nedostanem - umrie to este pred spustenim GRUB a ostanem na prikazovom riadku initramfs.

Skusil som 3x tu instalaciu s Ubuntu 22.04.1 a 2x s Mint 21 s rovnakym vysledkom. BIOS som aktualizoval na najnovsi (bez toho mi SGX hadzalo chyby a dookola sa restartovalo, vraj to je od kernelu 5.13, 22.04.1 ma 5.15). Nakoniec som to vzdal, disky som dal nazad na AHCI a pri instalacii zvolil instalovat Ubuntu na ZFS, nasledne druhy disk pridal do poolu pre zrkadlenie.

Otazka znie, kde robim chybu, preco taka banalna vec, ako instalacia Ubuntu na pomerne bezny HW nejde? Mam sa tym trapit, alebo rozdiel Intelackej RAID1 oproti mirroringu cez ZFS bude minimalny? Planujem na tom PC rozbehat Gitlab CE a nejake dalsie drobnosti pre cca 10 ludi s velmi sporadickym pouzivanim, tak ci to bude vobec postrehnutelne vzhladom na to, ze PC je pripojene cez 1GBIT ethernet a vacsina roboty bude git s mozno 2 naraz pripojenymi uzivatelmi.

Dakujem za rady

[mp3turbo]

uplne sa vykasli na troubleshooting lebo tvoj cas ma vacsiu hodnotu. Akakolvek forma SW Raidu preskoci moznosti hentoho pocitaca a samozrejme aj gigabitovej sietovky (1Gbit/s == 128MB/s == 32.000 IOPS 4kB pricom SSDcka daju viac i ked samozrejme nie pri kazdom "usage patterne") + predovsetkym toho, co dokazu dvaja uzivatelia vytropiť na gite.

A takisto sa svete nezruti keby si uzivatelia museli 12 sekund pockat kvoli pomalsiemu raidu trikrat za den.
V neposlednom rade, nikde nemas garantovane ze Intelacke RST ma vacsi vykon nez LVM/Raid1 alebo ZFS.

Poznamka : ja osobne by som zrejme nepouzil ZFS kvoli jeho vyssim narokom na RAM, ladenie atd. Write-through ta dodrbe s vykonom daleko viac ako write-back, naladit ZFS je daleko vacsia veda nez akykolvek iny filesystem. Predpokladam ze tam nemas miliardu pamate atd, atd.

edit : nezabudnut ze Raid --NIE JE-- backup a nikdy nebol. Zalohovat musis ajtak.

[lepermessiah]

Ratam s tym, ze 16GB RAM bude dostatocnych pre Gitlab a par mensich veci aj ked to pojde na ZFS. Druha moznost bola LVM ale ja s tymto nemam vobec skusenosti a aj to zrkadlenie ZFS ma vcelku vytrapilo

Backup samozrejme je rieseny na externy server, ale pre lepsi spanok chceme mat zrkadlenie diskov keby jeden porazilo aby nas to nezaskocilo a mohli sme to obnovit do par hodin

[mp3turbo]

jasna vec, v pohode. Trosku nerozumiem poslednej vete : ked ti porazi jeden disk v Raide1, vsetko predsa bezi dalej a nic nemusis obnovovat ; predsa o tom je raid.

Jedina vec co by som riesil na takychto samo-domo rieseniach je ci mozes ten disk vytiahnut za chodu alebo ci musis vypnut masinu a potom uz nenabootujes SATA interface ma v sebe hot-plug funkcionalitu, avsak nebyva vzdy implementovana vo vsetkych cipsetoch a velmi casto byva vypnuta v BIOSoch. Vyskusal by som to predtym ako na ten strojček nasypes akekolvek data a idealne aspoon dvakrat. Raz by som vybral prvy disk, raz druhy.

Pri ZFS si daj pozor na write cache. Niektore sposoby ako pristupujes k datam to maju standartne vypnute a tam dojdes o take kvantum vykonu ze je zbytocne spekulovat o ZFS vs LVM vs RST. Ako pisem, optimalizacia ZFS nie je ziadna sranda a specialne bez ECC RAM nema ZFS prilis velky vyznam.

[LeaR]

ja len trosku ot, to zfsko je peklo. uz asi rok sa trapime s performance problemami oracle clustra, ktory ma binarky na zfsku a sem tam nejaky proces nevie dostatocne rychlo zapisat na disk a nastane kernel panic. support:
>> Reduce rpool usage of GZ below 80% and monitor the server

>> Reduce the dump size in Kernel Zone

>> Lots of IO pending is ZFS layer

[mp3turbo]

na dialku pomoct nemozeme, Orákl klaster je beštia - len sa trosicku cudujem ze je problem s diskami kde su BINARKY. To mi nehraje.

Lots of IO pending je velmi jednoduche zanalyzovat, odkial pochadzaju (aky proces), kolko ich je, ake su reakcne casy diskov / poolu atd, atd. Potom to postav na jednu velku tabulu vedla seba a vysledok musis najst velmi jednoducho. Pokial tam mate točiace disky, mozes usetrit cas/namahu, nemusis analyzovat absolutne vobec nic, a riesenie je : kup si SSD.

Reduce usage <80% urcite nepomoze kedze ZFS nevie defragmentaciu. Ked mas nejake data strcene na vnutornych oblastiach tociacich diskov, uz tam zostanu a neposunu sa ; samozrejme ze pokles vykonu nastava daleko-predaleko pred 80% zaplnenim. Zdravy rozum a fyzika.

Castokrat som videl ZFS pooly vytvorene tak, ze maju vykon len jedineho fyzickeho disku a ludia si mysleli ze im 24 diskov pracuje ako v hlupom Raide.

[lepermessiah]

Ja by som to ZFS vobec neriesil, ak by som dokazal nainstalovat to Ubuntu na ten Raid1 na doske. Lenze hned po instalacii je ten Raid rozhodeny a nebootnem..

Ak by ste vedeli poradit co este skusit, skusim, zatial tam nemam nic, iba rozchodeny backup a nejake zakladne docker kontajnery aby som si to zalohovanie vyskusal. Otazne je, ak umrie doska, budem vediet pouzit lubovolny disk na novom PC? S umretym diskom na RST mam skusenosti, ale preniest disk alebo dokonca Raid1 do noveho PC som zatial riesit nemusel.

@mp3turbo hotswap mam zapnuty, ale ak by umrel disk, normalne by som to PC vypol a vymenil disk. To zrkadlenie uz mam vyskusane, ked vyberiem druhy disk, nabootuje aj ked sa chvilu spamatava, to iste ked vyberiem prvy disk.. ako som pisal, len toto nastavenie zrkadlenia mi dalo dost zabrat.

Alebo to mam nainstalovat na LVM? Kym tam nie su data, radsej to urobim tak, aby sme sa neskor s tym netrapili este viac..

[mp3turbo]

>> Otazne je, ak umrie doska, budem vediet pouzit lubovolny disk na novom PC?

samozrejme, o tom je LVM aj ZFS.

Ci to mas prerobit na LVM za kazdu cenu ti neviem poradit, vsetko ma svoje vyhody. Nezda sa mi ze by si isiel vyuzivat vyhody ZFS - zatial tu nic take prilis nezaznelo - takze ti zostavaju niektore nevyhody v podobe zlozitosti, vyssich narokov na RAM. Urcite sa sikovnejsi admini pridaju so svojimi postrehmi.

[Chris]

ak chces vykon, tak sprav MDraid, co je kvazi aj ten polo-sw-hw-raid co mas na doske.
LVM , mozes tiez ale bude mas menej feature.

ZFS sa pouziva hlavne kvoli jednoduchosti a feature, mirror pool spravis jednym cmd, ak nebudes zapinat dedup, tak zere minimum ram.
Ale mozes vyuzit rozne vyhody ako rozne record size pre jednotlive datasety, napr. pre data, alebo pre mysql ine.
Rozne druhy a levely compresie a hlavne snapshoty.
V default settingu a v normalnej utilizacii funguje ZFS paradne. Pouzivam niekolko rokov profejne a sukromne.
Avsak ak je to v high utilizacii a ides na limity HW, tak to treba vediet aj naladit a to uz vela ludi nevie a nadava na technologiu

[lepermessiah]

@mp3turbo no ja som myslel to, ze ak rozchodim zazracne Intel Raid, ci by som nasledne tie disky vedel rozchodit na novom PC, dajme tomu Alder Lake s Raid na doske.. ze ZFS rozchodim som z navodov pochopil, preto som to skusil ako nahradu

@Chris takze ked to je default a to pouzivanie nebude nejako extremne, nemam sa dalej trapit? Ja som ochotný tam dat cokolvek, co sa da jednoducho nastavit a opravit, skusim si precitat k tomu mdraid viac. Nejake extra ficury ako snapshoty a rozne druhy kompresie nepotrebujem.

Keby som to na prvu nainstaloval na ten Intel RST, ako to bezne robim od ery Windows XP, tak by som ani nezakladal tuto temu a ziadne ficury okrem mirroringu by mi nechybali

[Chris]

v BIOSe prepnes do JBOD modu disky a pri instalacii ubuntu desktop tusim, vies rovno spravit ZFS pool pri instalacii ne ?

ono ten onboard sata radic, ma aj tak tragicku performance cize

[lepermessiah]

pri instalacii maximalne tak "Use ZFS" nasledne po boote som siel podla tohto:
https://gist.github.com/yorickdowne/a2a ... 87d35bff3e

..cize ked som siel podla navodu tak asi vies ako som na tom s doverou voci tomu rieseniu

[mp3turbo]

kasli uz na ten intelacky RST... co sa tyka jej kompatibility smerom hore, to neviem, samozrejme ocakavam ze by to malo byt v pohode (neviem si predstavit preco by mal byt tragicky rozdiel raid1 na h310 cipsete a raid1 na najnovsom z690).

Hentie dve linuxove software RAID su jasne, presne o tom su a aj vzdy boli : nemozes zobrat disky z HW Raidu na Adaptec 71605 radici, obesit ich na LSI 9211 a cakat ze budu fungovat - data neuvidis, samozrejme ani naopak.

[Chris]

pri instalacii maximalne tak "Use ZFS" nasledne po boote som siel podla tohto:
https://gist.github.com/yorickdowne/a2a ... 87d35bff3e

..cize ked som siel podla navodu tak asi vies ako som na tom s doverou voci tomu rieseniu

osobne by som nainstaloval cely system na ZFS na jedno SSDcko (vlastne to aj tak mam ) a robil si len regular snapshoty a send/receive na druhe SSDcko s najvyssou compresiou, cize prakticky mini on-site backup. Ak nieco poseries, vies rychlo vratit nazad. Ak klakne SSDcko, vies celkom rychlo revertnut snapshot na iny disk alebo cez liveusb bootnut a upravit grub.
Ono to ma byt nieco ako sietovy server, tak 1x SSD s 1Gbit je viac ako overkill.

@mp3turbo su neprijemne situacie, kde tieto lowend "radice" narobia problemy, ale tak na doma je doma.

[Hexaris]

Mdadm a hotovo, nema zmysel davat nieco ine. Je to jednoduche stabile a perf je cisto na cpu. Hen tie uber intel veci a podobne ani zadarmo. Zfs je fajn, ale podla mna overkill na dane pouzitie. Pre nejake sialene veci ma aj tak linux verzia limit 128k na recordsize a chybaju nejake veci. Ja linux zfs pouzivam vsade, ale je to dost roznych dat a rozne nastavenia pre DB, data, binlog …