domace NAS +netbackup

[ochab]

Ahojte vsetci.

dozrel cas na zalohu a po precitani vlakien som sa rozhodol ze pojdem do vlastneho PC a nahadzem nan virtualky podla poziadaviek. Zatial moj vyber je:
https://www.alza.sk/asrock-n3150-itx-d2685613.htm
https://www.alza.sk/crucial-4gb-kit-ddr ... 390818.htm
https://www.alza.sk/fortron-fsp250-60hhn-85-d456901.htm
skrinku mam


planujem RAID 5 s 3x3TB WD RED HDD + nejake SSD, no mam par otazok. Tiez by som ho rad pouzival ako backup pre par PC po nete, tak PLS zohladnite bezpecnost :

Rad by som RAID pole cisto na data a na system nejake SSD, popripade si dam poradit. Kedze som zatial neskladal NAS ani nepouzival freenas ci nas4free, rad by som vedel aka velkost bude potrebna na OS s tym ze by som na nom rad rozbehal aj nejake VM ako Webserver, mailserver, atp. Aky disk na system + par VM?

Bude riesenie RAID 5 dosratocne bezpecny storage?

Bude vykon dostatocny?

Rad by som aj nejaku este zalohu navyse na foto, mp3 a par veci co sa tazko zhana. Co by ste odporucili?

Oplati sa priplatit za toto: https://www.alza.sk/hp-proliant-microse ... 470124.htm ?

Popripade nejake navrhy, odporucania, skusenosti? Nejake dobre weby, fora ohladom podobnych domacich serverov, kludne v AJ?

Netreba kupit aj samostatnu kartu s RAID radicom?

Dakujem za rady a postrehy! Rozpocet je max ten HP server + HDDs + pripadne SSD

[geroswen]

Po tom HP som pokukoval, v UK mali nan cashback a vysledna cena bola cca polovicna ako na SVK... neviem vsak ake su podpomienky pre uplatnenie cashback, v pravidlach o tom nebolo nic pisane.

[mp3turbo]

uhm, kde zacat a ako rychlo skoncit kedze su takmer styri hodiny rano...

4GB RAM a bezat na tom zopar virtualok ? Drzim palce. Mozno si si vsimol ze ta HP mikrovec ma LEN 2GB RAM a to sme proste uplne skoncili, dalsiu by si musel DRAHO dokupovat, rozpocet nepusti. Tymto smerom by som v ziadnom pripade nesiel, nehovoriac o tom ze radic nepodporuje RAID5 (SmradArray B120, bacha na to) a RAMky musia byt ECC - ked hladas, zozenies za cenu blizku klasickym pamatiam takze v tom nevidim vazny problem, avsak vidim vazny problem v tom ze proste budes rozhodne musiet dokupit nejaku lebo 2GB je zaverecna ani sme nezacali. A navyse moze byt prieser vo vyberavosti takejto platformy, ak si myslis ze tam zapojis hociaku RAMku, tak mozes byt velmi prekvapkany. Este som sa nedostal k procesoru a jeho "vykonu", a maximalnemu poctu RAM slotov ktore su proste dva. Cize si kupis nejaky dodatocny modul (jeden) a si skoncil, lebo obidva sloty budu plne z toho jeden originalny 2GB modul ktory je naprd. Potom budes zahadzovat originalnu "dvojku" a kupovat namiesto toho nieco dalsie, co je obrovska strata penazi.

Nepises ako chces robit virtualky, ci pouzijes Microsoft 2012 HyperV alebo VMware ESX pripadne nieco Linux-based. V pripade ESX/Linux davaj pozor na kompatibilitu, v pripade pouzitia akehokolvek bare-metal Tier1 hypervizoru nechapem ako chces spravit aj virtualizaciu, aj freenas/nas4free na jednom stroji. Robit virtualny freenas/nas4free je tazko nedoporucovane a hlavne v tom nevidim vyznam ked chces data posuvat v ramci toho isteho stroja.

S Raidom budes mat viac problemov ako si vies predstavit. Samostatnu kartu, teda RAID radic, do tvojho rozpoctu ziadny rozumny nezmestis. Pouzite ktore dokazu pripojit 4x HDD sa pohybuju okolo 60 az 90eur a zase pozor na kompatibilitu s tvojim konkretnym riesenim, hlavne teda softom ktory chces pouzit (nemozes kupit radic s cipom Silicon Image 2111 a dufat ze ho pouzijes na ESXku - teda dufat mozes, ale tam to konci).

Dostatocny vykon : 2GB RAM, najslabsi procesor dnes navyse na frekvencii okolo uzasnych 2GHz po nejakom pretaktovani, myslim ze som sa vyjadril jasne. Fabia 1.0mpi v najslabsej verzii, vase rodinne turbo, je dostatocne vykonne pretekarske nacinie ?

Pokial potrebujes zalohu navyse na foto/mp3 ktore sa uz nikdy nebudu opakovat, rozhodne MUSIS mat nejaky externy, oddeleny storage od cohokolvek si postavis. Proste tam nie je diskusia, o tie data prides skor alebo neskor ked to budes mat na jednej hromadke. Za tu "stratu" 90eur co stoji 2TB disk rozhodne nestoji v zivote za stratu vsetkych spomienok, tam je diskusia nemozna.

Ci bude RAID5 dostatocne bezpecny storage ? Moja odpoved : nie, nebude. Ani neviem co chces robit, ale nebude S TROMI DISKAMI KTORE CHCES POUZIT. Rovno ti prezradim ze aj ja pouzivam WD Red disky a RAID5ky (a k tomu Hitachi Deskstar), az na to ze... fyzicky od seba oddelene polia, sifrovane rozlicnym sposobom, takze ma mozu vykradnut alebo mozem vyhoriet. Ano, tiez tam mam fotky a videa mojich deti a celeho mojho zivota. To ze mas RAID5 este neznamena, ze v pripade pokazenia jedneho disku a jeho vymeny dokazes precitat data zo zostavajucich (v tvojom pripade dvoch zostavajucich). Je to zradne, velmi velmi zradne. Proste ked ti v raid5ke s akymkolvek poctom diskov jeden padne, si uz totalne na hrane a nemas akykolvek manevrovaci priestor. Neprecitas data zo zostavajucich lebo vadny sektor, pokazi sa ti v priebehu rekonstrukcie druhy lebo su z rovnakej vyrobnej serie rovnakym sposobom padnute na zem z vysokozdvizneho vozika v jednej a tej istej krabici, vystavene rovnakym prevadzkovym podmienkam... to je cele veda okolo toho. JA OSOBNE SA NIKDY V ZIVOTE NESPOLAHNEM NA JEDNU JEDINU LINIU REZERVY co sa tyka ukladania dat, pretoze tie disky stoja hovno makove, moje data maju nekonecnu hodnotu v porovnani s cenou diskov.

V pripade pouzitia freenas/nas4free davaj pozor na ZFS : je to mimoriadne progresivny filesystem, avsak ma viac uskali ako si dokazes predstavit, jeho copy-on-write metodologia garantuje fragmentaciu na urovni o ktorej si ani nesnival, s cim v pripade troch konzumerskych diskov neodvratitelne prichadza obrovsky, obrovsky prepad vykonu v priebehu casu a zaplnenia.

Linkoval si dosku za 90eur s integrovanym procesorom, 4GB RAM (rozhodne neber kit, ale jeden jediny modul, to je bez najmensej debaty - kvoli rozsireniu v buducnosti) a zdroj za 30eur ktory vobec nepotrebujes pre takuto zostavu (procesor co zerie 10W, tri disky po 5W a sragory okolo toho a'la RAM a chipset), navyse nevalnej kvality. Co by som robil na tvojom mieste ?

Okrem tejto zostavy za 120eur (doska+cpu a zdroj, RAMky neratam lebo tie potrebujes vsade a budu rovnako drahe, teda okrem HP riesenia) si linkoval HP zostavu za 261eur s danou. Kedze mozes investovat radovo tieto prachy, rozhodne by som spravil nieco v tomto style :


https://www.alza.sk/gigabyte-h81m-d3h-d2166299.htm
60eur doska, 4x sloty na RAM (virtualizacia ? rozsirenie v buducnosti), 2x PCIe (zrejme nebudu treba, ale su tam), kvalitne komponenty UltraDurable+. Bacha na pocet diskov co vies pripojit (buducnost, anyone ?), mozno by som sfleku poskulovat po nejakej klasickej 6x disk doske, ale ty musis vediet. To by bolo dalsich 15 az 20 eur navrch.

https://www.alza.sk/intel-pentium-g3258-d1634596.htm
75eur, dual-core takmer plnohodnotny CPU ktory sa da s prstom v zadku pretaktovat na 4.2GHz, to je niekde uplne inde ako tie 2GHz hracicky integrovane na doskach. A dofrasa to nam teda pekne podrazel, bol okolo 50eur...

zdroj ? za 30eur by som kupil proste barsjaku skrinku s barsjakym integrovanym zdrojom, bude to ta ista kvalita.

Cize medzisucet : 60+75+30 = 165 eur, este stale sme o stovku lacnejsi ako HP mikroserver, a mame UPLNU volnost v konstrukcii, na rozdiel od mikrobedne HP - do klasickeho minitoweru/miditoweru pichnes 10 diskov, zopar do klasickych montaznych pozicii, tri-styri prdnes na spodok bedne aj na strop, proste niekde uplne inde ako pri HP. Mas tam sloty na RAM, na karty, proste FLEXIBILITA ze nebudes musiet toto riesenie zahodit o polroka ked si nieco vymyslis. Das do toho akekolvek DDR3 pamate aj teraz, aj v blizkej buducnosti, nie su viazany na HP znacky a predrazene HP ECC ramky. Ano, nie je to taka krasna HP kocka ktoru hodis barskde za skrinu. PS: disky si v klasickej bedni vies nutene chladit klasickym 12cm ventilatorom za styri eura. Nepochopis ako to fenomenalne prospieva ich zivotnosti, ked nemaju 55 stupnov...


Vykon ... ach jaj. Ako na to rychlo. Z troch WD RED diskov zraidovanych do zostavy necakaj ziadny vykon - proste aby si nebol sklamany. Pri RAID5ke mas problemove zapisy ktorych budes potrebovat neurekom pri virtualizacii, navyse pri prtavom mnozstve RAM (swapping !!), do SSD by som prilis neinvestoval v tvojom pripade EXTREMNE LIMITOVANEHO ROZPOCTU kedze SSD je OBROVSKA cast z tych penazi ktore mozes pouzit a pritom... velmi mala kapacita. Ano, velmi pekny vykon, ale ten zabijes pouzitim najlacnejsieho SSDcka lebo si limitovany prachmi, takze nedosiahnes realny vykon SSDciek, budes mat malu kapacitu, proste cele zle. Namiesto jedneho SSDcka - ktore navyse nijako nebude chranene pred zlyhanim takze ked ti padne SSD, mas po fajronte, vsetko zhaslo, nic nemas dostupne (data sice su na RAID5 ale nemas system a nemas sa k nim ako dostat) - by som rozhodne tie prachy investoval do dalsieho HDD. Namiesto 3x HDD by som spravil zostavu 4x HDD a v pripade freenasu/nas4free by som hrubo isiel do RAID-Z2 ktora ta chrani pred zlyhanim AKYCHKOLVEK DVOCH diskov na rozdiel od RAID5, ktory chrani proti padu jedneho jedineho z nich a potom uz mas koprivky ci dokazes data zrekonstrovat (asi si nepocul o Unrecoverable Read Error a nepoznas matematicke statistiky) a ci ti nahodou pocas rekonstrukcie ktora mimochodom bude trvat tri dni na slabych procesoroch a doskach nepadne dalsi disk z tych co prezili. Potom by to uz bolo navzdy v prdeli.

Neexistuje lepsia poistka za tie prachy ako RAID-Z2. Aj toto ma svoje uskalia z hladiska architektury a designu prostredia/riesenia ako celku, avsak ako vravim...

Cize moj nastrel bez lepsej znalosti tvojich potrieb : usetrit na nezakupeni HP servera, usetrit na SSDcku ktore jednoducho nema zmysel (ze nabootujes system o 45 sekund rychlejsie ? Gratulujem, a ako casto ho budes bootovat ? Lebo na to SSDcko nic neulozis, takze okrem operacneho systemu ti je na prd makovy kvoli kapacite), pritlacit na stvrty HDD, poskladat to sam (radost z vysledku a dobre vykonanej prace sa neda zaplatit, na ostatne je tu Maestro), rozhodne tam prdnut 8GB RAM (2GB su nemozne, 4GB su velmi z nudze cnost a z usetrenych penazi zaplatis 8GB v pohode), mat flexibilitu do buducnosti, pouzit RAID-Z2 ktore ta ochrani pred zlyhanim akychkolvek dvoch diskov sucasne a nejako k tomu celemu zakomponovat virtualizaciu. Aj sa nieco naucis co mozes vyuzit neskor v svojom zivote a zamestnani. Na zostavu nesmies navalat data od zaciatku, cokolvek pouzijes ... experimentuj. Sprav si akykolvek operacny system, sprav si raid5, nedajboze RAID-z2 ked pocuvnes moje financno-technologicke rady, vykmasni mu jeden disk za chodu. Nasimuluj si poskodenie pola... a poriadne, aspon dva-trikrat vyskusaj, ako prebieha jeho rekonstrukcia, co to robi, ako sa sprava, kolko to trva. Skuska ohnom bez ohna samotneho. Tolkokrat sa mi to v zivote oplatilo ze ani nemozem povedat kolkokrat.


Hlavne napis co konkretne chces spravit. Aka virtualizacia ? Ako si predstavujes freenas/nas4free v tvojej sieti s virtualizaciou ? Chces pouzit jails co su tam ? Na to rovno zabudni.

Pekne, turbo, pekne zase raz strucny prispevok na tri strany. Ano, uz je pol piatej rano.

[ochab]

...ehm...

1. mp3turbo, vdaka za cenne postrehy. Vyzera to ze este musim co to pocitat a postudovat o tejto "problematike" ...challenge accepted!

2. nevyzadujem ziadne konkretne riesenie, ako som pisal nestaval som este podobny stroj, no nemam problem dostudovat, pouzival som aj linux par rokov no uz je to davnejsie. Ale ako pisem radsej dostudujem co neviem, ako sa potom zlostit nad kompromisnym riesenim. Rad si necham poradit. Disk na offline zalohu mam 3TB, ktory pouzivam teraz. Kedze ako vidim a citam o RAID Z2 (nepoznal som ) sa to aj oplati a nevidim dovod neist do toho, nakolko bude ten stroj vyuzivany viacerymi uzivatelmi(rodina), tak nech je parita vyssia, ten disk navyse za to stoji. Aky OS zvolit, som otvoreny vsetkym moznostiam?

3. Co ocakavam od riesenia/Co by som rad vyuzival (IP mam pevnu):
- cloud pristupny z vnutra siete aj z netu
- zaloha dat domaceho PC + zaloha zo vzdialenych pocitacov cez net ; +offline zaloha na najdolezitejsie data
- media streaming - aj po nete, najlepsie sifrovane(foto, hudba, filmy)
- webserver s vlastnou strankou (len na vlastnu potrebu)
- samaba, ftp - pokial vobec bude treba
- WOL
- torrent client
- DC++ client
- 1 VM s linuxom (min.)
- HW monitoring pola a diskov + hlasenie chybnych sektorov (ak nieco take je)
- popripade v buducnosti proxy

4. doska ktoru si ponukol ma 2xSATAII a 2xSATAIII. Nebude lepsie uz pozerat po doske s viecerymi SATAIII slotmi alebo je to fuk? budu stacit 4 sloty aj do buducnosti pri rozsirovani, ci zvysovani kapacity, pola?

5. Co sa tyka ZFS, ake su moznosti rozsirenia Z2 pola, zvysenie kapacity(je mozne pole 2+2 rozsirit na 4+2 a tym zdvihnut kapacitu pri zachovani parity)? Preco odporucas radsej RAIDZ2 nez RAID6?

6. su WDRED disky v pohode alebo ist este do vyzsej triedy, ci porpipade ineho vyrobcu? Oplati sa to (napr. za WDBLACK+200€ pri 4x3TB)?

PS: bude to trosku na dlhsie, ale ked nieco robit tak poriadne!
PPS: s rozpoctom sa da hybat, no rad by som sa s HW aj s RAM, mimo HDDs a skrinky, zmestil do 250 EUR. Pokial bude potrebne, ci vysoko odporucane, je mozne navysit tento rozpocet na 300EUR.

Dakujem a som plny ocakavani!

[643]

daj potom urcite vediet, ze ako si dopadol a vyriesil to
ja som mal podobne poziadavky, ale s tym configom sa mi nechcelo az tak one ... lebo som tiez chcel mat storage (aj ked iba mirror) a jednu virtualku...
a kupil som si mp3turbovu oblubenu krabicku Qnap TS-251 s 8gb ram ... na ktorej sa da bezat virtualka (mam to iba fresh tj. tyzden, este som to neskusal, ale malo by to ist v pohode) a zatial spoko, islo mi o VELKOST krabicky, spotrebu a jednoduchost ovladania. Pripadne TS-451 je o 100e drahsia, cize trosku nad rozpocet, ale funkcne

[mp3turbo]

1. ok

2. mozno nemusis spekulovat nad virtualizaciou a freenas a vsetko to skladat dohromady - preco si proste nespravis linuxovy stroj na ktorom si pustis vsetky sluzby co potrebujes ? Isteze aj taketo riesenie ma svoje nevyhody, ale freenas sa prudko nedoporucuje pouzivat vo virtualizovanom prostredi (aj ked to samozrejme ide !) cize mas zakladny problem ako sklbit aj virtualky aj storage dohromady. Stroj s linuxom by toto vyriesil, freenas vypustis, ZFS zivotne nutne nepotrebujes, mdadm bude tvoj kamos. Neviem ci sa na linuxe da pouzit RAID-Z2 alebo ekvivalent, nie som linuxak. "man mdadm"

3. nevidim ziadny problem, da sa to. Pre HW monitoring pouzivas SMART z diskov a nasledne notifikacie, funguje velmi dobre.

4. ano, ved pisem ze za 15-20eur doplatok mas 6-diskovu dosku. Ci budu stacit styri sloty alebo nie je otazka na teba, nie na mna bude mne stacit Fabia 1.2tsi alebo nebude ?

5. zvysenie kapacity mozne je, samozrejme pri zachovani parity. Raid6 ako taky neexistuje, je to privatna technologia jednej firmy ktora uz tusim ani neexistuje. Raid-Z2 nastudujes, ako bolo jednoducho povedane hociake dva disky sa ti mozu dokazit z celej zostavy diskov kde to pouzivas (napriklad vdev, logickeho celku, cize NEBAVIME sa o dvoch diskoch z celkoveho poctu fyzickych diskov pretoze na jednom pocitaci mozes mat viacero RaidZ2 poli. Priklad : mas 6 fyzickych diskov, mozes z nich vytvorit jeden 4diskovy RaidZ2 a jeden 2diskovy Raid1 pripadne z nich mozes spravit 3x dvojdiskovy Raid1 pripadne jediny 6diskovy RaidZ2...).

6. WD Red su uplne v pohode, vyrobca ich urcuje pre nasadenie do zostav s maximalne 8 diskami - je to dane hlavne vibraciami. Samozrejme ich mozes nasadit do 6U chassis ktore uskladni 72 diskov, len sa tie Redy budu trosku viac kazit ako to vyrobca naplanoval - tomuto sa vies realne branit designom ktory s tym proste pocita. Ja osobne tiez postavam 100 diskove pole z klasickych konzumerskych diskov, nevidim problem - furt bude 10x lacnejsie ako akakolvek vec od HPcka a furt bude 10x odolnejsie voci zlyhaniu. Navyse tie disky sa fakt nekazia kazdy den pokial sa neprehrievaju. Do Blackov by som vobec nesiel, je to zbytocne na tvoje pouzitie a pritom nemusia byt ani o trochu spolahlivejsie, prave naopak - 7200rpm si vyzaduje svoje. Na domace vyuzitie a vzdialenu replikaciu ti je vykon uplne zbytocny, pretoze si ajtak limitovany rychlostou internetu a vobec nie diskov samotnych (na lokalne streamovanie DLNA alebo cokolvek tiez nepotrebujes 2094924 GB/s). Takze by som daleko radsej isiel do vacsieho poctu diskov a zvysil redundanciu = radsej 6x 3TB WD Red v RaidZ2 nez za rovnaku cenu 3x 3TB WD Black v RAID1. Okrem ineho aj vyuzitelnu kapacitu budes mat vacsiu, v tomto konkretnom pripade.


Do 250eur sa zmestis. Hore som ti napisal dosku, cpu, bednu za 170eur. Chyba RAM, takze dalsich 40 navrch ale uz je tam bedna so zdrojom.


Cokolvek si vyberies, musis sa s tym hrat, hrat, hrat aby si vedel co ta caka hlavne v pripade padnutia disku. Napoveda : http://wiki.nas4free.org/doku.php?id=faq:0087 +++ http://www.freebsd.org/doc/handbook/geom-glabel.html

[k1ll3c]

Ako človek neznalý NAS riešení, polí atp. ( a stále som na tom rovnako...) som sa snažil rozšíriť si obzory.
Takže ak môžem doporučiť niečo na čítanie o freenas tak zdes:
Hardware recommendations (read this first)

prípadne zdes:
ECC vs non-ECC RAM and ZFS

[mp3turbo]

zbytocna panika ohladne "nutnosti" mat ECC. Da sa o tom napisat nieze roman, ale rovno cela kniznica. Poviem ti to velmi jednoducho :


a) doteraz si v zivote ziadny scrub/metadata filesystem nepouzil. Bezis na najsprostejsom Windowse7 na najhlupejsom NTFS.

b) doteraz si v zivote ECC pamate nepouzil. Kolko dat sa ti znicilo ?


nerobme zo slona komara, alebo nejak tak. ZFS je dobra vec, ECC je dobra vec, avsak v ziadnom pripade to nie je nutnost. Urcite som za ich pouzivanie, osobne ich vyuzivam dennodenne v radoch stoviek kusov, ale zase zblaznit sa netreba.