ZFS/RAID storage benchmarks

[Chris]

Zdravim,

rozmyslam prejst z HW Raidu 1 (Dell perc8 h310) pri 2x 1TB WD RED dosahujem cca 200MB/s R/ 150MB/s W na obdobu alebo ZFS.
Storage je primarne urceny pre HyperV/ESX host. Cize jedna sa o velke subory vdmk/vhdx v rade niekolko GB.

Kedze radic ma pri RAID5 3x1TB WD RED nizke rychlosti, kvoli fixnemu 64 kB stripes. Storage spaces raid s paritou ani nehovorim. Ak spustim par SQL serverov, atd tak je to pomale, ale nelaguje. Avsak chcel by som ist vyssie.

K dispizicii je:
4x 1TB WD RED
4GB ram neni problem 1GB per TB.
moznost aj SSD na dalsi cache.
raid s paritou teda obdoba RAID5/6

Moja otazka je ake mate performance vo svojich masinkach a s akym setupom ? Pretoze co som nasiel na nete tak vacsinou boli slabe.
Aky OS pouzit ? freeNAS, uRAID alebo priamo solaris ?
Potrebujem aby bol zaroven stabilny a cca neprestrielny ako HW raid. Radic by som pouzil ako HBAcku.
dik

[mp3turbo]

normalne mi otvorene povedz kolko cakas kvalifikovanych reakcii na tomto fore. HBA, ZFS, Solaris, ESX, 64kB stripes, raid6, to je nieco z Battlefílda4 ?

medzi nami dvomi dievcatami, z dvoch alebo styroch diskov tejto triedy nemozes cakat ani makovy prd co sa tyka SQL a virtualizacie, ktora pri sucasnom behu takychto "workloadov" zabije uplne ine kladiva ako su 4x WD REd. Kazdy z tych diskov ti proste hodi nieco okolo 60 az 80 random IOPS (4K) a to je cele, nezabudni si zaratat 4x write penalty pri RAID5 respektive 6x write penalty pri RAID6.

Bud tam nacvakas SSDcka a budes na nich natvrdo bezat alebo proste nebudes mat vykon. To je cele. Raid5 ta zabije vzdy, z dvoch milionov 4K IOPS distribuovanych na 32 nodoch spravim 0.5 miliona len tym ze namiesto 100% read/0% write si dovolim 70% read/30% write. Raid6 je este skoro dvakrat horsi pri akomkolvek zapise.

Blbe co ? Vymysli nieco s tymto a zamestnam ta ako konstruktera storage. Zarobime stovky milionov, samozrejme nie v korunach.

[Kiwwiaq]

Nerad otvaram uz takmer pochovanu temu, no mozme sa porozpravat o ZFS a hybrid storage rieseniach.

Chris, napis poriadne co chces, rozpis poriadne zostavu co mas. Par dni dozadu sme sa o niecom podobnom bavili na roote.

http://forum.root.cz/index.php?topic=9360.0

mp3turbo, mas realne co ponuknut, alebo chces bliakat a odradit chlapca od poriadneho IT ?

[Chris]

a odradit chlapca od poriadneho IT ?

moj zlaty, ze chlapec a odradit od poriadneho IT uz dlho som sa tak nezasmial.

Vidno, ze si tu novy, lb s mp3turbom sa tu tak doberame a chcel konecne nabudit aj tuto problematiku. Lb vsetci tu ospevuju ZFS, ale realne porovnanie s HW controllerom alebo storagespaces ziadne

Pytal som sa len preto, ci tu niekto neni, kto sa s tym hral/hraje/robi, pretoze vsetdy som nasiel jeden blog, kde panko mal brutalne cisla.
Na 45000 serveroch mame HW controllery a SAN storage, na ktorych su tiez HW radice. Cize mozno mam viacej skusenosti s hw radicmi ako vacsina v tom prispevku na roote. A to co pisali o perc, ze neberu niektore disky je blbost. Privatne mam Dell Perc 8i H310 a bere komplet vsetko.

Predpokladam, ze robis Solaris, alebo si si nastudoval ZFS, tak kludne sa pochval zostavou a rychlostami.
O ZFS som uvazoval, len kvoli tomu, pretoze na mojom virtualizacnom testlabe mi zacala vadit mala priepustnost mojho RAID1 pola na WD RED diskoch.
A to, ze ak klakne tento radic, musel by som kupit znova.

Minusom bolo celkom komplikovane rozbehanie a ladenie a ak dame do pomeru cas potrebny na nastudovanie a testy atd tak som to zavrhol. A asi bude aj tak sas controller s 1/2GB cache

[Kiwwiaq]

Je pravda, ze som tu novy. Mile rad sa na tuto temu budem bavit.

Solaris ma zivi. 5 rokov som robil produkcneho admina, teraz som na "dovolenke" z produkcie a posledny rok robim Solaris a Linux pre konkurenciu bez nadcasov formov projektovej prace. Mam tak cas na svoje veci. Solaris a ZFS studujem doma, no potrebujem to aj k praci.

O pocet servrov naozaj nejde. Realne skusenosti s HW RAIDom nemam. Nestretol som sa, resp max posledny rok, kde sa konfigurovali OS disky v HW RAIDoch. SAN poznam FC, pouzivame Veritas filesystem. Popravde som este nevidel SAN storage z ktoreho je stavany HW RAID. To mi je nejaka novinka.

Moja zostava je vcelku jednoducha:
Maticak: Supermicro X9SCM-F
CPU: Intel Xeon CPU E3 1230
RAM: 4x 4GB ECC Kingston
HBA: 2x Supermicro AOC-USAS2-L8e
OS disky: 2x 500GB 7k2 Seagate 2.5"
Data disky: 12x 2TB 5k4 Samsung EcoGreen F4 3.5"
Case: Nejaky najlacnejsi co vtedy bol a mal iba 5.25" pozicie
HDD bay:
SAS/SATA 4in1 2.5" to 5.25" hotswap
4x SAS/SATA 3in2 3.5" to 5.25" hotswap

OS: Solaris 11.1 latest
OS disky: ZFS mirror
Data disky: ZFS Raidz20 - 2x 6 diskov --> 2x 2 disky su paritne, vyuzitelna kapacita je 16TB, realne 14TB a 2TB zozral ZFS

Momentalne rozbieham nieco ako komunitny projekt. Planujem kupu 2x 128 SSD na cache a so supercap aby som ochranil zapisovane data pred stratou elektriny a podobne. Tiez rozsirit RAM na 4x8GB aby som projekt utiahol co do IOPS.

Testy mam z obdobia, kedy som to poskladal, co je cca 3 a nieco roka dozadu. Pri ZFS nie je problem mat brutalne cisla. Vela ludi zabuda ze ZFS pouziva RAM a SSD cache a preto nespravne chape meranie. ZFS treba chapat ako celok a nepozerat na IOPS a bandwidth samotnych diskov.

Moje vysledky su v prilohe. Meral som sekvencny zapis a citanie pri istych vlastnostiach. 64GB subor random dat bol zapisany do pola 12 diskov v RAID0. Ano, ten 1.7GB/s seq read je realny vysledok. Treba si uvedomit ako funguje ZFS a zisti, ze Hybrid Storage riesenie bude tak rychle aj s obycajnymi diskami. Staci len rychla cache. ZFS pouziva RAM. HBA cache je nafigu, pretoze ZFS potrebuje na disky pristupovat priamo. HBA je treba naozaj hlupe HBA, ktore zabezpeci pristup na disk.

[Chris]

no konecne , taketo prispevky som si predstavoval.

To ze robis so solarisom mi bolo hned jasne. Len akurat co mozem ja posudit z praxe, tak vacsina outages su zo solarisu, patching cista tragedia, ale vascinou je to sposobene ludskym faktorom, ze zabudnu odfreezovat cluster a pod.

Mna by zaujimalo ale, ci si neskusal, alebo necital niekde aku zhruba performace by slo dostat :
4x 1TB 7,2k WD RED
ram kludne 4-8GB , vraj 1GB=1TB dat
SSD na LARC

Tvoj fileserver naco vyuzivas, teda naco potrebujes taku performance ?

[Kiwwiaq]

Solaris je krasny system. Nie je user friendly. Urobi presne to a tak, ako mu povies. Ak nevies a urobis to nespravne, necuduj sa, ze nieco nejde ako cakas. Ked nieco na Solarise nefunguje, 80% problemu je ludsky faktor, 5% HW problem, 5% bug v Solarise, 10% bug v inom software. Mam skusenost, ze ak to raz ide, tak to ide kym to nevypnes.

Teraz bez srandy, ironie a trollovania, ega a podobne.

Do akej hlbky rozumies performance diskov v RAID konfiguraciach ? Otazka "aky performance mozem ocakavat z danej konfiguracie" moze kludne vyustit v niekolko dielny serial informacii. Je to hlboka problematika.

Aby som odpovedal.

RAM = cache. Cim viac, tym lepsie. Daj ZFS tolko RAM, kolko sa zmesti do maticaku a kolko mas penazi. ZFS potrebuje ECC RAM. Ak RAM nie je ECC, nepouzivaj ZFS.
RAID configuracia vdev je samostatna tema. Zalezi ako to poskladas. ZFS netrpi na write hole.
SSD pre potrebu ZIL a L2ARC aka Hybrid Storage je zase samostatna tema. Tiez to ma iste pravidla.

ZFS je 500 stranova kniha.

Co do mojho stroja. Nemam velky performance. Testy som robil v RAID0 konfiguracii. Small a random read je rovny vykonu vsetkych diskov. Pri aktualnej konfiguracii, RAID60 da small a random read rovny vykonu dvoch diskov. Zacinal som na AMD Athlon II X2 240e, kompatibilnej ASUS doske s 8GB ECC RAM. Nedokazal som saturovat 1GB interface. Nasral som sa a kupil low cost Supermicro maticak, HBA, najlacnejsi 4 x jadro, 2x thread per jadro Xenon a dalsich 8GB RAM.

No a teraz to pouzivam nasledovne: windows client --> openvpn --> server --> SMB / CIFS share ako sietovy disk, no a to je ten moj komunitny projekt, ktory sa snazim poskladat.

Vravis, ze ti tu chyba seriozna diskusia na temu NAS a ZFS a tak podobne. Spytam sa ta. Uzivila by sa tema, kde by sa o tom pisalo na pokracovanie od zaciatku po koniec ? Nie je to na 10 minutovy prispevok, skor tak na 10 aspon jedno stranovych casti serialu.

[Chris]

nj krasny ale narocny system...

mna len zaujimalo pre porovnanie s HW raidom co sa tyka performance, pretoze som to chcel skusit na jeden projekt, ale nakoniec som to aj tak vyriesil buducim upgradom HW radica a aj diskov 10k ot. + SSD cache.

Trochu som viacej popozeral zakladne tutorialy ako nabuildovat zakladny ZFS storage na solarise a na to sa mozem
Nebudem predsa kvoli storage pol roka-rok studovat dalsiu technologiu, ak robim nieco ine. Pretoze ja som skor myslel najprv pre domace pouzite skusit ZFS vo FreeNAS, ale tam bola velmi slaba performance.

Ale ak sa ti chce napisat, nejaky tvoj osvedceny navod ako nabuildovat a naladit solaris a mas k tomu chut, smelo do toho

[Kiwwiaq]

Najdolezitejsia informacia pre teba je, ze ZFS ma vykon 1:1 v porovnani s HW RAIDom. Nie je to fanboy nazor. Pointa je v technologii. Bol navrhnuty a urobil niektore vyrazne optimalizacie tak, aby tento pomer vykonu dokazal.

HW riesenie rovnakeho problemu je v porovnanim so ZFS neflexibilne a financne ovela narocnejsie.

Na Solarise nie je co ladit a konfigurovat. Za 2 hodiny mas plnohodnotny SMB/CIFS; NFS a iSCSI server. Instalacia Solarisu je z ako Windows. Next, next, account, timezone, disk kde instalovat, siet, next, reboot. Nic nevyberas a nic nenastavujes. ZFS spravujes dvoma prikazmi. Je pravda, ze je vela moznosti, aj Solaris, aj ZFS ma toho dost, no default je vyladeny dobre.

Rozhodnutia, ktore musis urobit su takmer rovnake tak ako pri HW rieseni.

Napis o tom projekte viac. Co chces ? Co od servra cakas ? Aky chces load ? S takymi diskami co mas mozes mat NAS server, ze budes tehly srat od toho IOPS.

Ja ti poviem co som chcel ja. Moja prvotna predstava bola mat domaci archiv dat, na ktory budem vediet pristupit rychlostou 1Gb/s po LAN za kazdych okolnosti. Preto mam NAS nastaveny tak, ze to zvladne saturovat 2 Gb/s linku. Nezalohujem, co je moja velka chyba, preto chcem mat pre mna co najlepsi pomer bezpecnost / vykon / kapacita. Z toho mi vyslo nastavenie raidz20 = RAID6+0. 2x 6 diskov v RAID6 to cele v RAID0. Na take to domace brnkanie super. Ked budem chciet viac IOPS, dodam cache. 32GB RAM a SSD disk s vela IOPS by mi mali pomoct zo sraciek v podobe raidz20, ktore ma tragicky performance na male random citanie. Na moj projekt by sa ovela viac hodil klasicky RAID10. To by dalo vykon taky, ze by sa mi hlava krutila, no nemam vyrieseny backup. Potrebujem redundanciu. Obetovat 12TB sa mi fakt nechce. Nemam na to prachy. Teraz mi mozu umriet 2 disky z kazdej raidz2 skupiny. To je sakra dost. Z RAID10 moze umriet 1 disk z jednej skupiny, to je sakra risk.

[Kiwwiaq]

nj krasny ale narocny system...
Ale ak sa ti chce napisat, nejaky tvoj osvedceny navod ako nabuildovat a naladit solaris a mas k tomu chut, smelo do toho

Mas zelezo ? Ja uz nie To moje uz bezi a tazko sa mi bude dokumentovat krok za krokom, ked som si nerobil detailne poznamky. Viem z nich co sa ako a preco udialo, ale na clanok to nie je. Chce to krokovat. Chcelo by to prazdne zelezo, konkretny pripad. Od spodu az hore.

[Chris]

mam uz nove zelezo, ale asi ZFS riesit ani nebudem.

Bez akehokolvek ladenia, prvy nastrel vytvorenia raid5 na novom radici vyzera takto

https://www.dropbox.com/s/lcr7xgr1q18ia ... -33-00.png

[mp3turbo]

som vas tu chvilu nechal bez dozoru a vy sa takto rozbehnete kolko diskov a akych ?


precitam si prispevky a budem reagovat, je tam kopec veci ktore mi nevonaju, predovsetkym cache ktore uzasne skresluju akekolvek realne vysledky a to ze s par mechanickymi diskami spravis paradny performance. Nespravis.

Jedine ze by sme mali velmi velmi rozlicne definicie performance a paradny. Ked mas 10 diskov a nie su to 15k rpm SAS srandy za nekrestanske peniaze, mozes z toho cakat priblizne 1000 random 4K IOPS a to u mna nie je ziadny performance, nieze paradny - a tento obraz sa prilis nezmeni ani so superdrahymi enterprise SAS vecickami (maximalne trojnasobne a to co je, stale nic). A to este v pripade raid0 pretoze raid5 ma obrovsky write penalty a raid6 este vacsi, atd atd. Tadeto pre mna cesta uz nevedie - 200 enterprise grade SAS diskov za nenormalne desiatky tisic penazi sfuknem zo stola s prstom v riti so styrmi (a bez problemu aj dvomi) SSDckami co sa tyka random operacii. Jasne ze nie kapacitou alebo linear vykonom ale pri porovnatelnej cene SSD a enterprise-grade HDD ja uz s mechanickymi vrtičmi zacinam pomalicky koncit nadobro...

[Chris]

3x 2,5" 10krpm 300GB SAS disky

zase porovnavas hrusky s jablkami, retailove komercne SSD porovnavat s enterprise diskami ? porovnaj s enterprise SSD, kde ako sam vies aj IOPs inde atd.

Nejdem stavat brutalny storage, kedze je to len dalsie puzle do mojho homelabu ( +4x 1Gbit Intel , ale to aj tak nevyuzijem )

[mp3turbo]

no vidis aky naprd je tento test... tri mechanicke disky v akejkolvek konfiguracii nedaju 1.5GB/s ani nahodou, ani ked pojdu dvojnasobnymi otackami ktorymi idu z vyroby a v RAID0, co predpokladam ze nemas. Povedane inak, ZIADNY mechanicky disk neda 500MB/s v linearnom rezime, ani v najlepsich podmienkach teda bez akejkolvek fragmentacie filesystemu na uplnom zaciatku disku = vonkajsej stope kde je najrychlejsi. Suhlasis ?

PS: inak praveze enterprise SSD maju skoro vzdy mensi vykon ako konzumerske (vid priklad intel730/samsung850, tie porazia takmer kazdy alebo uplne kazdy enterprise non-PCI/non-NVMe SSD/non-HGST SSD). Naposledy som drzal enterprise sandisky v HP 3Par rieseniach pred dvomi tyzdnami v ruke... bez aktualizacie firmware diskov aj tripáru ani prd, cervene, error, pomoc, skapinam. Cele parada.

[mp3turbo]

>> mp3turbo, mas realne co ponuknut, alebo chces bliakat a odradit chlapca od poriadneho IT ?

tak jo, sfukol si ma silno. Idem si ja bliakat niekam do kuta





>> Realne skusenosti s HW RAIDom nemam. Nestretol som sa, resp max posledny rok, kde sa konfigurovali OS disky v HW RAIDoch

a hned vzapati taketo... neviem kolko mas rokov ale je zaujimave ze si nikdy nerobil HW raid v zivote.






>> O ZFS som uvazoval, len kvoli tomu, pretoze na mojom virtualizacnom testlabe mi zacala vadit mala priepustnost mojho RAID1 pola na WD RED diskoch.

suhlas, fyzika nepusti, ved som to vravel hned ako prva reply. Nahod si tam 4x SSD 250GB cize 4x 100eur a ten vykon co ti daju (radovo 300.000 IOPS po 4K = 1200MB/s) neodnesies do siete ani ked sa zblaznis. Nepochopis aky je obrovsky rozdiel zvlast pri virtualizacii oproti mechanickym diskom. 25 virtualnych masin startuje naraz zhruba rovnako rychlo ako ked kazda z nich startuje single (ak nevytazis procesory na hostoch), proste tie SSDcka sa s tym moc neseru a nezadychaju.






>> Pri ZFS nie je problem mat brutalne cisla. Vela ludi zabuda ze ZFS pouziva RAM a SSD cache a preto nespravne chape meranie. ZFS treba chapat ako celok a nepozerat na IOPS a bandwidth samotnych diskov.

toto plati pre kazdy storage - akakolvek cache ti zdeformuje realne cisla, ci mas ZFS alebo ci nemas. Preto sa robia brutalne testy a nie take co vojdu do cache, a vobec ajtak uplne najlepsi test co zaujima nasich zakaznikov je velmi jednoduchy : tu mam SAP/Oracle, spracovanie tychto jobov nam na HP Storage za milion eur bezi od 18 do 21 hodin. Ako dlho bude bezat na vasom a kolko to stoji ? Bohuzial taky je svet velkych penazi a firiem. Viem ze v komunitach to funguje inak a tak je to spravne, nemoze byt cely svet cierny alebo zeleny alebo ruzovy.

Inak ZFS je fajn, to je bez debaty.






>> Najdolezitejsia informacia pre teba je, ze ZFS ma vykon 1:1 v porovnani s HW RAIDom.

RAID radice su vacsinou s takymi srandovnymi procesorikmi a'la 600MHz alebo 800MHz Intel cipy, skoro ziadny model nedokaze poriadne vytazit vysokovykonne SSD a to je hlavny dovod preco VSETKY firmy pouzivaju v najnarocnejsich SAN rieseniach jednoducho procesory/generic HW od Intelu. HP 3PAR 7400/7450 : mala konfiguracia 4jadro, velka 6jadra, cluster atd. Intel Xeon. S diskusiou o tritisic IOPS je zbytocne ukazovat sa na dennom svetle (cize 24 az 36 mechanickych diskov po radovo 100 IOPS, proste klasicke disky), to dokaze kazdy radic.






>> S takymi diskami co mas mozes mat NAS server, ze budes tehly srat od toho IOPS.

uhm. Ja som sa nepotehlickoval z rackov narvanych diskami a ty ma ides prekotit s jednou ATX krabicou