Domáci NAS

[tomaash]

Pozor na Windowsacky Raid5, aj storage spaces, ma to tragicky pomaly zapis.

[tomaash]

Moj skromny nazor na domaci NAS a RAID:

Raid5: pride sa o najmenej miesta, ale domace implementacie su tragicky pomale, hlavne co sa zapisu tyka. Asi by som bol smutny, ako by som pomalicky a dlho plnil moje nove niekolkoTB pole. Pomaly a rizikovy rebuild.

Raid0: nebrat, zo zjavnych dovodov.

Raid1: strati sa polovica kapacity, ale je to jasny vitaz... jednoduchy raid, rychly, spolahlivy. Trivialne rychly rebuild v pripade problemov. Neda sa vsak rozsirit kapacita, treba si spravit novy mirror z dalsich dvoch diskov. Da sa ale este cez to nalepit nejaky pooling, napriklad spomenuty storage spaces ;-)

Onboard Raidu sa aspon v pripade dosiek s Intel chipsetom netreba vobec bat. Ked odide doska (controller), pole sa rozbehne aj na inej doske. Dokonca casto aj v starsej.

Dobry NAS s troma diskami: 2 disky v Raid1 na dolezite udaje, ktorych strata vaznejsie zamrzi (napriklad fotky z dovolenky, steklive videa s ex, atd), treti disk na zdielanie hluposti, co sa daju polahky stiahnut z internetu, pripadne grabnut z legalne vlastnenej zbierky nosicov ;-) V pripade potreby sa ten treti disk da rychlo pouzit na rebuild mirroru, kebyze ziskanie nahrady za zlyhany disk trva dlhsie.

[mp3turbo]

ten vykon je nejaky tragicky maly, hento mi robi jeden disk. Sranda je ze mas rovnaky read aj write, ocakaval by som ze write bude zhruba POLOVICA z readu. Inak zo zaujimavosti aka certifikacia sa na teba vali ?


A samozrejme ze vytvorit si takto v ramci virtualnych masin nejaky storage je o nicom, mas tam pridany layer a latencie atd. Proste to sa neda s fyzickym pristupom na disk porovnat. Nasledne, vobec nic nevies o tom kde su fyzicky tie vmdk umiestnene, je realne ze zhodou okolnosti mas raid5 niekde na konci fyzickeho disku kde mas proste tretinovu priepustnost oproti zaciatku disku (mala stopa, velka stopa, rovnake otacky). Latencie : to su svine, i ked sa nezda.

Dalej, ATTO a podobne testovacie programceky maju svoju vypovednu hodnotu, ale zase nie su zaciatok a koniec sveta. Co ked ja FTPckom prenesiem zo servera v realite 800MB/s (cize to v reali vybucham) a ATTO mi ukaze len 605MB/s ? Kto ma pravdu ? Samozrejme ja. Co ked na tom istom serveri lokalne vybucham 1200MB/s tak ze budem dane subory kopirovat do /dev/null ?

Zoberies si desat rozlicnych testov, dostanes desat rozlicnych vysledkov.





>> Pozor na Windowsacky Raid5, aj storage spaces, ma to tragicky pomaly zapis.

raid5 ma vzdy pomaly zapis v porovnani s raid0. Raid6 je este horsia. Neviem kolko mam zapis ja na domacom policku (G2020 cpu, 8GB RAM, 4x 3TB WD RED, vsetko pripojene na dosku s radicom sata3 teda 6Gbit/s rozhranie), skusim to zistit. Rozhodne som ukrutne nad urovnou 100MB/s, bavime sa teda v situacii ze fyzicky moje disky su schopne 600MB/s maxima na zaciatku media a radovo 240MB/s na konci media (cize zhruba od 150MB/s do 60MB/s) neratajuc do toho ziadny overhead a paritu. Proste fyzicky mam 4 disky, kazdy z nich hodi 60MB/s na konci platní.

As of Storage spaces, dofrasa o ktorych konkretne sa bavime ? Win2008 R2 ? win2012 ? win2012 r2 ? Storage spaces sa daju velmi dodrbat aj velmi vyladit. Kolko konkretne je u teba tragicky pomaly zapis a v akej presnej konfiguracii ?

[tomaash]

As of Storage spaces, dofrasa o ktorych konkretne sa bavime ? Win2008 R2 ? win2012 ? win2012 r2 ?

Bavime sa o tych, ktore zrejme doma bezny clovek bude mat ;-) Cize Win8, Windows Server 2012 Essentials/R2.

Write s troma beznymi NAS edition diskami priblizne 35 MB/s priemerne. Co je smutne, kedze to je dokonca pod hranicou zapisu jedineho disku.

raid5 ma vzdy pomaly zapis v porovnani s raid0. Raid6 je este horsia

Suhlasim. Avsak stale si myslim, ze ani jeden z tychto Raid levelov nie je na domace pouzitie vhodny.

[mp3turbo]

Win2012R2 mi pripadaju ako vcelku dobre a zoptimalizovane. 35MB/s je nejaka kravina, to mas po sieti alebo lokalne na tom serveri ? Ako testovane, ATTO ? Aky hardware, intel atom ?

Ja dosahujem okolo 150MB/s SW Raid5 Win2008R2 len tak zahuci, moju zostavu mas popisanu vyssie.

PS: nezabudni si v biose zapnut maximum performance, ZIADNE setriace rezimy, ziadne balance power kraviny, nezabudni aj windows uviest do takehoto rezimu.

[mp3turbo]

http://www.hanselman.com/blog/TheNewTur ... rvers.aspx
http://serverfault.com/questions/94212/ ... erformance
http://support.microsoft.com/kb/2207548
http://blogs.technet.com/b/winserverper ... iency.aspx

niekde som videl ze to chlapovi realne zdvihlo performance SQL Servera o 50%, ulohy co predtym bezali 16 hodin su spravene za osem. Viem ze SQL SErver je nieco ine ako SW Raid, ale vidis to... asi nieco na tom bude.


edit : pozor aj na write cache pre disky samotne, pre niektore ulohy je lepsie mat zapnute write cache na fyzicke disky, pre niektore ine je lepsie mat to vypnute. Popisuju to aj vyrobcovia radicov, LSI, Adaptec...

No takto by som to zavrsil : nie je auto ako auto, nie je tuning diskoveho subsystemu ako tuning diskoveho subsystemu.

edit2 : aha este ma napadla sialene dolezita vec : syncho versus asynchro zapisy. By default sa pouziva synchro, to znamena ziadna write-back cache. Musis si ju explicitne povolit... Set-StoragePool -FriendlyName <Storage Pool Name> -IsPowerProtected $True cim si server povie ze okej, ma to chalan hodene na UPSku. Samozrejme ze v pripade vypadku prudu riskujes blablabla data nezapisane z RAM cache na fyzicke disky. Mne elektrina nevypadava casto a servery mam na upskach a dieselgeneratoroch.

[tomaash]

C2D E8400.

Disk write cache treba pri Windows Raid vypnut, v pripade necakaneho restartu a neflushnutej cache rebuildujes...

Power management... pokial sa bavime stale o domacom pouziti... Vies, kam mierim

Ze si to ty vies vytunit na serverovych OS, zavesit na UPS a generator a zalohovat offsite je pekne. Kto to doma bude mat a bude sa s tym babrat?

http://social.technet.microsoft.com/wik ... mance.aspx

[Chris]

mp3turbo: ja som tu dal aspon aky taky realny vysledok, ktory sice neni moc vypovedny, ale nemal som 3 ciste rovnake disky po ruke, ale rozdiel je vidiet. Takisto stale tu pises, ale nikdy si tu nedal realny vysledok co mas, preco nedas nejake screeny ?

Takisto ak si pozres tvoje prispevky pol roka dozadu, aky typ raidu si ospevoval ? stale HW, ze SW sa moze stratit. Ani vtedy si nedal vysledky? Pamatas na Dell H310 ?

Jedine kde som videl aby pouzivali obdobu SW raidu v enterprise riesini bol Solaris so ZFS. Win ? ani jeden z 45tis. serverov

[MaxMan]

Nejak sa tu rozmohla vojna RAIDov...

Tu sa ale teraz bavíme o SOHO segmente. Čiže žiadne super-hyper-mega veci z enterprise riešení.

Pomaly sa prestávam v tom orientovať. Preto mám opäť otázky:

Čo by ste teda radili pre domáci NAS s 3 diskami? Do budúcna ich chcem rozširovať po 1ks (nie po poliach - na to nie sú €) bez nutnosti kopírovania údajov inde a následne nové RAID pole s diskami + 1 nový. Ďalej požadujem aspoň akú takú ochranu pred poruchou aspoň 1 disku (čiže asi RAID5). Ak poznáte iné riešenie, sem s ním.

Ďalej som narazil na problém: požadujem, aby som na tomto NAS vedel aj sťahovať z netu (download station). Nie len linky na priamo cez napr. wget, ale aj z úložných serverov ako uložto s captcha a pod. (asi nutnosť mať nejaký prehliadač v OS).

Doteraz som otestoval FreeNAS a Nas4Free:

FreeNAS vie UFS a ZFS. ZFS je pre mňa nepoužiteľný, nakoľko nevie pridať ďalši disk do poľa online bez straty údajov v poli. UFS zase vie len RAID 0,1 a 3. RAID 0 a 1 pre mňa nie je. RAID 3 sa mi zdá tiež nepoužiteľný v porovnaní s RAID 5. Čiže FreeNAS asi odpadá - opravte ma ak sa mýlim v predchádzajúcich tvrdeniach.

Nas4Free: vie aj RAID 5, ale ešte testujem, či dokáže pridať nový disk bez straty údajov v existujúcom poli.

- oba riešenia ale nevedia /nenašiel som, že by vedeli/ sťahovať - nemajú browser

Skúste teda poradiť aký OS využiť?

[tomaash]

Windows 8 + Storage spaces + Two-way mirror

Edit: Nieco blizsie k tomu, ako to funguje:
Vytvoris si na zaciatku pool troch diskov. Nad nimi si vytvoris Two-way mirror storage space (volume, ktory potom uvidis pod pismenkom). To znamena, ze udaje budu vzdy fyzicky ulozene na dvoch z tych troch diskov - na ktorych dvoch, rozhodne uz storage space - ale fyzicky sa vyuziju a zaplnaju vsetky tri disky. Ked casom pridas do poolu stvrty/x-ty disk, zacnu sa kopie ukladat priebezne aj tam.
Snad som to popisal zrozumitelne...

[faugusztin]

Ďalej som narazil na problém: požadujem, aby som na tomto NAS vedel aj sťahovať z netu (download station). Nie len linky na priamo cez napr. wget, ale aj z úložných serverov ako uložto s captcha a pod. (asi nutnosť mať nejaký prehliadač v OS).

To vylucuje prakticky vsetky bezne NAS, plus to vylucuje aj FreeNAS. Co pozadujes je totiz bezny desktop, pripadne beziaci cez VNC/RDP, na ktorom ti bezi JDownloader. ZIadne ine riesenie neexistuje.

Najblizsie je teda pre teba OpenMediaVault, co je Debian - s tym, ze si doinstalujes a rozbehas klasicky desktop, VNC server, doinstalujes Javu a JDownloader.

Co sa tyka RAID-u je to ale otazne, prakticky pre rozsirenie velkosti RAID-u budes musiet asi zistit ako sa to robi v Linuxe cez mdadm, GUI riesenie na to asi nie je.

[Chris]

alebo pouzit lubovolny OS a soft, kde ulozis tvoje data do foldra a podla tvojich kriterii na redundanciu ti to rozhadze na disky, prezije to aj rozsirenie o dalsi disk bez prekopirovania. faugusztin to tu uz parkrat spominal, len si neviem na to spomenut ani najst to

[tomaash]

Ved takto funguje aj Storage spaces vo Windows 8. Virtualizovany storage

[faugusztin]

Greyhole pre linux, DriveBender a podobne pre Windows. Obe su to jednoduche drive pooling riesenia s volitelnou moznostou redudancie (teda ze subor sa ulozi fyzicky na 2 rozne disky).

[Odar]

Nakoniec skoncime pri 2 internych HDD + USB 3 docku na HDD, kde sa raz za mesiac zalohuju data Bez srandy - doma srandovat s RAIDami a podobnymi vecami je podla mna trosku mimo a zbytocne komplikovanie si zivota. Kolko tych dat (okrem filmov, serialov a porna) mate, ktore NUTNE musite mat zalohovane? 100 GB? 200 GB?