Win Raid vs Bios Raid vs Low end PCI/PCIe HW Raid

[Hexaris]

Este to tu vyuzijem, co by bolo najlepsie pre 8x hdd ? Zvazujem raid 60, pripadne 4xraid1 a to cele strip (sas hdd) ...
Vyuzitie hlavne DB ... je tam pomalsi zapis, ale citanie je priorita. Velkost jednej DB na urovni 70GB.

p.s. nemate niekto hp saap key (: ? uz sa neda zohnat ...

[mp3turbo]

strucne, lebo nemam vela casu :

pises ze jedna DB je okolo 70GB - mozes spajat kolkolen chces HDD a nikdy nedosiahnes - zrovna pre databazove pouzitie - ukrutne nadhernu ladnost jedneho jedineho SSDcka. To co na 24 raidovanych diskoch trva 6 hodin, jedno jedine SSD je schopne sfuknut za 10 minut a ani sa nezadycha. Rozdiel SSD versus 8 diskov je samozrejme este priepastnejsi.


Chcel by som preto zlahka doporucit :

- SSD podla velkosti tvojich databaz a podla nutnosti mat ich na najrychlejsej vrstve (menej vykono narocne / dolezite mozu ist na RAID HDD)
- 2x SSD v RAID1 konfiguracii ked je dostupnost DB extremne dolezita a na HDD robit len zalohu, testovanie atd.
- 1x SSD + skriptovane backupy databaz na HDD ked dostupnost DB nie je najdolezitejsia na svete a mozes si dovolit vypadok (SSD padne)

Cize vlastne vytvorit si taky "tiering" system, viacero vrstiev.

HDD vrstva s osem diskami : z hladiska performance by som robil Raid10, niektori vyrobcovia to oznacuju Raid1+0, prieserom je 50% neefektivneho miesta (mas 8x 600GB disky, total 4800GB, po vytvoreni pola budes mat len 2400GB dostupnych v operacnom systeme, zostavajucich 2400GB padne na ukor redundancie). Vykon najlepsi, vyuzitelne miesto najhorsie. Podla sikovnosti radicu alebo riesenia ti moze padnut az polovicka diskov a vsetky data budu stale dostupne, AVSAK musi ti vzdy padnut len jeden disk z jednej dvojice (pri osem diskoch mas styri dvojice, teda mozu sa pokazit styri disky patriace do styroch rozlicnych dvojic). Akonahle padnu v ktorejkolvek dvojici obidva disky (cize kludne sa ti z osem diskov mozu pokazit len dva, ked su v prislusnej dvojich), VSETKY data su nenavratne v prdeli. Najvyssi vykon, najhorsia efektivita.

Z hladiska efektivnosti ukladania samozrejme Raid5, z 8x600GB ti vyda 7x600GB = 4200GB pouzitelneho fleku. Obrovsky rozdiel oproti Raid1 ze. Vykon mensi ako Raid1 : cim viacej zapisujes a cim menej zapisujes "full stripe" (nastuduj), tym horsi prepad vykonu. Ked z databaz sialene vela citas (napr. web server), Raid5 ma prakticky rovnaky vykon ako Raid1 cize tuto musis pouzit interne DB nastroje aby si zistil tvoj "usage pattern". Akykolvek jeden disk sa moze pokazit, vsetko bezi. Ked sa pokazi druhy, vsetko je v riti. Stripe size sa zvykne nastavovat na 4kB alebo 8kB podla konkretneho pouzitia, konzultovat treba dokumentaciu prislusne databazy a ked mozes tak zlahka aj experimentovat a testovat (pozor, nezamienat velkost stripe size pri RAIDe s velkostou cluster size alebo allocation unit size suboroveho systemu teda napriklad NTFS alebo ext4). Pri istom pouziti moze mat Raid5 vacsi vykon ako Raid1, co si vela ludi neuvedomuje (raid1 VZDY zdvojnasobuje pocet zapisovych operacii cize neefektivita zapisu je 50% garantovane, kdezto Raid5 pri osmych diskoch a full-stripe-size write operaciach prichadza len o 1/8 vykonu = 12.5%, poznamka : kalkulacia parity je natolko rychla ze pri mechanickych diskoch sa o nej nebudeme bavit vobec).

Raid6 : krasna to vec. Vykon na zapis este pomalsi ako Raid5, vyuzitelna kapacita pocet diskov minus dva, teda z 8x600GB dostanes 6x600GB = 3600GB pouzitelnej kapacity. Ktorekolvek DVA disky sa mozu pokazit naraz, vsetko funguje. Az ked sa pokazi treti, potom vsetky data padnu. Vykon na citanie kusok mensi ako pri Raid1 (data efektivne rubu vsetky disky okrem dvoch kdezto pri raid1 vsetky disky mozu rubat data), vykon na zapis najpomalsi zo vsetkych rieseni pretoze je nutnost kalkulovat pripadne updatovat dve paritne informacie naraz. Pri kazdom zapise ktory nedosahuje velkost RAID alokacnej jednotky (stripe size x pocet diskov) dochadza k multiplikovaniu operacii : najprv musim precitat vsetky disky a data na prislusnom stripe, potom musim vyeatat novu paritu, zmenit konkretne data ktore chcem zmenit a nakoniec to cele zapisem. Raid6 je tazky kompromis medzi odolnostou voci zlyhaniu, efektivitou nevyuzitelneho miesta a vykonu.


Pises ze mas SAS disky. Kratka poznamka autora : 7200rpm disky dosahuju niekde okolo 100 nahodnych operacii za sekundu (IOPS) o velkosti 4kB ; 10000rpm disky maju okolo 150 podla toho ako ich ktory vyrobca ocajchuje a ake si schopny prezit latencie ; 15000rpm disky maju udavanych 250 IOPS (a bezne ich vidim tlacit 400 IOPS avsak uz s latenciami na urovni 40ms ; pri 200 IOPS tlacia latencie okolo 7ms). Kedze mas osem diskov, lahko si vypocitas celkove mnozstvo IOPS ktore mas k dispozicii a vies to porovnat s tvojou databazou a jej narokmi. Pozor na zapisove operacie, pri Raid1 vzdy dojde k 50% poklesu (kazdy zapis sa musi realizovat dvakrat), pri Raid5 a nekompletnych stripe-write dochadza k multiplikacii zhruba na urovni 4x (teda 200 realnych zapisovych operacii z databazy vyvola okolo 800 fyzickych operacii na diskoch) a pri Raid6 moze dochadzat k multiplikacii okolo 6x az 8x cize 200 DB zapisov moze vyvolat az ~1500 fyzickych zapisov na diskoch.



Podla toho kolko mas penazi a ako si mozes dovolit vypadok by som skombinoval SSD ktore musis kupit lebo nemas s HDD ktore uz mas. Ak ti nieco hovoria RPO a RTO, mozeme sa bavit dalej.

Ak z tohoto celeho nemas ziadne peniaze alebo na tom nezavisi tvoje meno, existencia tvojej firmy, asi uz mas vsetky info ktore potrebujes. Pre domace / menej narocne nasadenie by som veselo bral Samsung 850Pro SSDcka a spravil by som rucne o 20% mensiu particiu ako je celkova kapacita disku (= "manualny overprovisioning"), cize ked kupim 500GB SSD tak rucne vytvorim 400GB particiu a 100GB necham naschval nepouzitych. Dovodom je trvalo udrzatelny vykon, predovsetkym zapisovych operacii, a obrovsky vacsia zivotnost. Nevyhodou je samozrejme cenovka, mozes na to pozerat ako na "20% penazi vyhodenych von z okna".

[Hexaris]

Co si popisal vacsinu info viem, len som lenivy o tom informovat. Preco sa vobec pytam, ssd nie je problem, ale radic ma lock u sata na sata2. Iops sice bude stale niekde inde, ale napr. samsung sa neda ukecat na fixne sata2 a prehadzuje sa nonstop medzi sata2/3. Ten limit particie bude asi jedine normal riesenie, nakolko s garbage col./trim je to u HW raidu nejasne. Nepocitam enterprise ssd sas. Samozrejme ide o p410 verziu. Este teoreticky ak by som ho hodil do IT modu tak testnut zfs a na log a meta pouzit ssd ...

Edit: este pripada do uvahu pcie ssd od intelu ...

[mp3turbo]

>> napr. samsung sa neda ukecat na fixne sata2 a prehadzuje sa nonstop medzi sata2/3.

neexistuje - pocas operacie sa ziadna negotiation na zbernici nerealizuje. K nej dochadza pri boote, resp. teda inicializacii zbernice a pripojenia zariadenia, respektive po "hard resete" na zbernici co vsak uz signalizuje uplne iny problem.

Noze daj presnu verziu radica ktory pouzivas (p410, idealne aj na akom konkretnom HW) please, presnu verziu firmware ktory tam mas napaleny a idealne aj presnu verziu SSD a jeho firmware ak to este mas poruke.



IT mod je velmi fajn, avsak testnut ZFS moze vyzadovat prekopanie operacneho systemu co teraz pouzivas (teraz bezis nieco na Windows -> potom to bude cosik diametralne odlisne), sposobu spracovania dat atd, proste je to montaz motoru Lady do Pezota. Na Kube sa to deje bezne, jasnacka... ZFS ma svoju obrovsku zbierku problemov a nevyhod, uz len nastavenie samotne respektive ladenie za ucelom dosiahnutia najlepsieho vykonu je veda. Najvacsi prieser ? Nezabudni na copy-on-write co ti v priebehu casu vyvola taku sialenu fragmentaciu ze je uplne bezne ze ti vykon ZFS filesystemu padne pod uroven stvrtiny originalneho cisteho vykonu. Na toto najdes artiklov na internete milion. Plus ani tie l2arc, zil a podobne nie su zase az take jednoduche a priamociare ako sa to na prvy pohlad zda. ZFS proste nie je pre kazdeho.

Ked chces pouzit HW Raid, namiesto velkosti particie doporucujem umelo zmensit viditelnu velkost SSD. Dovodom je to ze nemas najmensiu kontrolu nad tym ako Raid radic alokuje bloky [a aj akym sposobom a vo vacsine teda konkretne vobec neposiela TRIM spravy od operacneho systemu]. Jedina spravna cesta v takomto pripade podla mna je nastavit velkost Host Protected Area cez hdparm ci co to bolo za linux utilitku, cize aj Raid radic bude vidiet mensiu celkovu kapacitu SSD.

[mp3turbo]

akekolvek PCI-e, idealne NVM take co uderi 800.000 read / 240.000 write IOPS, je samozrejme megabomba. Otazka je cenovka...

[Hexaris]

Ja som to info čerpal tu http://community.hpe.com/t5/forums/foru ... rue/page/1 nieco podobne som mal na inom HW, ale tam pomohla výmena backplane a zatiaľ ok. Chcel som sa vyhnúť problémom a nekupovať ssd zbytocne.

Inak to pcie nie je az tak strasne drahe, ak zoberiem vykon vs cena.

[mp3turbo]

linkovany artikel vyprava o P410i v spolupraci so Samsungom 830 co je teda pekna starina... navyse nepise nic o firmware atd, i ked artikel je vcelku novy.

Mam jednu teoriu : nevieme nic o loade ktory na tie SSDcka praskol ani o ich pocte. Fesak ale pise ze sest 128GB Tošíb s nejakym asi Lenovo firmware pracovalo v pohode. Myslim si teda ze chalan skusal taketo vacsie pocty SSDciek, a ze netestoval jedno/dve. Chcem povedat ze manualny overprovisioning ktory som hore napisal by zrejme vedel zamavat aj s takymto spravanim - myslim ze je sposobene tym, ze jedno SSD robi nejaky interny garbage management a zablokuje zbernicu pretoze je to SATA a P410 ma vzdy styri a styri porty multiplikovane (na SAS k nicomu takemu nemoze prist).

Najslabsi clanok urcuje silu celku : pri SSDckach ovela viac ako pri HDD je nutne do RAIDov vyberat modely ktore maju co najviac konzistentny vykon. Presne toto, superspecialny firmware optimalizovany za tymto ucelom plus nejake dalsie enterprise-class vlastnosti a zivotnost, odlisuju superdrahe SSDcka od konzumerskych lacnych. Ked si zoberies Sammy 830, a kludne aj 840 a 850 bez akehokolvek pridavneho overprovisioningu a uspokojis sa len s tym co ti vyrobca da out-of-the-box, dostanes sa k nejakemu takemu skackavemu grafu co sa tyka vykonnosti napr.

http://images.anandtech.com/reviews/sto ... turesm.jpg

a to este nie je "zazoomovane" do detailu, cize ten disk proste skacka ako sibnuty. Ked takyto diskov nahodis 6 alebo 8 na radic, kazdu chvilu ti bude niektory z nich robit prieser a bude ho robit pre vsetky + si vsimni ze samozrejme su postihnute aj citania, nielen zapis (isteze, ten disk proste vnutorne nestiha). Ked odhodis 25% kapacity, jednak sa ti dlhodobo udrzatelny vykon zdvihne z ~7.000 IOPS na radovo ~25.000 IOPS co je fenomenalny rozdiel, ale prakticky sa uplne strati tato RSK, rozskackanost splasenej kozy, uplne inak sa tie disky zacnu spravat. Vyskusane osobne, viackrat, s rozlicnymi diskami a kontrolermi.

Zaver : nedovolim si tvrdit co konkretne bolo pricinou linkovaneho problemu, rozhodne vsak mas pravdu ze P410 nie je ziadny vykvet v dnesnej dobe, rovnako ako Sammy 830 a rovnako ako nepritomnost akychkolvek dalsich detailov ohladne problemu. To vsak neznamena ze by si sa mal zlaknut na smrt.


PS: Sammy enterprise disky, napriklad SM84x, SM85x rady, maju v tom Samsung softe direkt nastavitelne aky overprovisioning chces pouzit. Exponencialne s nim rastie aj pocet zapisov ktore SSD vydrzia.

[tomaash]

p.s. nemate niekto hp saap key (: ? uz sa neda zohnat ...

ozivim tuto starinku... ak to je este aktualne.
aktualizuj firmware controllera, saap je uz zadarmo all inclusive.

[Hexaris]

Dobre vediet, predpokladam, ze klasika cez DVD update ? Ci treba samostatne a rucne ?

[Snake]

normalne cez VCA (co by si teda mal mat nasadene), SAAP ako taky existuje, ale zapina tiering a podobne veci, v niektorych kontroleroch je plateny nadalej, na P8XX je included.

[mp3turbo]

ved ho nestras, co ked ma dva servery... kludne aj rucne. Na systeme co ti bezi zase nie je az taka veda spustit SPP a nechat prebehnut vsetko, aj ILO, aj BIOSy aj power controlery aj sietovky... raz za par rokov neuskodi

[Hexaris]

Skrz jeden az dva stroje podla mna zbytocne, ocenujem vsak podporu debianu zo strany hp. Skorej by som to ocenil pre fujitsu, respektive ci je sanca u serverview to rozbehat mimo red hat ... to uz som ale OT.

[Snake]

ved ho nestras, co ked ma dva servery... kludne aj rucne. Na systeme co ti bezi zase nie je az taka veda spustit SPP a nechat prebehnut vsetko, aj ILO, aj BIOSy aj power controlery aj sietovky... raz za par rokov neuskodi

Ano, ale SPP musis spustat, VCA mozes naskriptit v offhours nech instaluje veci, pripadne rebootne, ale ok no, ja mam cca 100 serverov pod spravou, to je ina vec samozrejme, uz som si pomocou VCRM musel spravit aj vlastne repo.

[Hexaris]

To beriem, mne aktualne pre jedno HP spp postacuje, aj tak je dalsia vec, ze pre radu 410i musis mat 2015.10 a stiahnut je to tiez umenie ak nemas warranty pripadne subscr., asi som to hp prechvalil (:

[mp3turbo]

ked mas takuto specificku potrebu, vykakaj sa na cele SPP ktore sa stahuje tak ako sa stahuje (Dell / IBM Lenovo / SuperMicro sa tomu prevelice tesia pretoze toto jednoznacne znizuje resale hodnotu HP serverov a teda ich robi menej atraktivnymi).

Si stiahni specificky firmware update pre P410i alebo uz akykolvek mas radic a vyfakuj ich celych jak su. 2015.10 uz zacina byt zastarale ale to vies aj bezomna.