Potreboval by som rady nejakeho strasneho linuxoveho odbornika, ktory sa rozumie do nastavenia Samby a celej problemytiky okolo.
Problem: Rychlost kopirovania cez normalne zdielane adresare medzi Vistou a Linuxom cez 1 Gbit ethernet.
HW/SW riesenie: Mam hlavny pocitac s Vistou x64 (skusana bola aj 32-bitova verzia), na druhom konci je fileserver s nejakym upravenym Debianom, ktory som po dlhom skusani vybral. V obidvoch pocitacoch su kvalitne Intel PRO/1000PT Desktop sietovky do PCI-E slotu. Ako switch je pouzity ZyXEL GS-108A a ako kabel obycajny Cat.5E TP.
Vo fileserveri je softwarove RAID5 pole, ktore zvladne citanie aj zapis >100 MB/s sustained. Vytazenie CPU je minimalne.
Rychlosti: Teraz dosiahnem rychlost okolo 35 MB/s pri kopirovani na fileserver (jedna sa o velke subory, ziadne cachovanie do pamate). Prave som skusal na hlavnom PC vytvorit 2 GB RAM disk, aby som vylucil vplyv jedneho disku a hodnoty su nasledovne pre cca 2 GB subor: zapis na server 44 MB/s, citanie 72 MB/s. Este ma napada, ze vo Viste mam vypnutu MMCS sluzbu, ktora obedzuje rychlost siete.
Chcel by som vediet, ci je mozne dosiahnut vacsie rychlosti hlavne zapisu na fileserver. Linux absolutne neovladam, preto ak budete chciet nieco zistit, odmerat, nacitat, skontrolovat, treba so mnou jednat ako s debilom. Pokial by bolo treba dalsie informacie, tak povedzte.
Samba a rychlost kopirovania
-
jararak
- Moderátor
- Príspevky: 3115
- Dátum registrácie: Št 13. Jan, 2005, 20:00
- Bydlisko: Kosice, Bratislava (29)
tak z fleku ti viem len povedat tolko ze to bude pravdepodobne koli raid 5 ktory ma najnizsi performance co sa tyka rychlsoti jak citania tak zapisu. ked chces lepsi musis ist do 1+0 pokial si chces zachovat aj zalohovanie a zaroven zvysit performance.
Watching you ...
Modra je dobra a preto ju mam aj v logu.
Modra je dobra a preto ju mam aj v logu.
-
zoom
- Používateľ
- Príspevky: 2318
- Dátum registrácie: Št 16. Jún, 2005, 20:00
- Bydlisko: Bratislava (40)
To sa mi prave nejako nechce verit, lebo proces, ktory sa stara o vypocet parity zabera radovo jednotky percent vykonu CPU, najviac zere Samba, cca ~15%.
Ked som ladil pole, tak prikazom "dd if=/dev/zero of=bigfile.dat bs=1M count=2048" som testoval rychlost vytvarania 2 GB suboru (server obsahuje 1 GB RAM) a hodnoty sa pohybovali okolo 120-130 MB/s.
Ked som ladil pole, tak prikazom "dd if=/dev/zero of=bigfile.dat bs=1M count=2048" som testoval rychlost vytvarania 2 GB suboru (server obsahuje 1 GB RAM) a hodnoty sa pohybovali okolo 120-130 MB/s.
Ako daleko su od seba tie pocitace a aky presne kabel to pouzivas?
Ja som milo prekvapeny, ze dosahujes take rychlosti, lebo pokial je to klasicky cat 5e UTP tak ta rychlost 1Gbit je skor teoreticka (nie ze by sa nedala dosiahnut, ale z osobnych skusenosti, tak okolo 10m po relativne rovnej trase)... skusil by som cat 6 kabel (neurobi zazraky, ale budes mat "istotu" ze nizka rychlost nieje sposobena utlmom v kably na trase)
Je nejaky specificky dovod preco pouzivas RAID5? Netrufam si tvrdit, ze RAID5 je pomaly, to isto nie... ale moze byt. Podla vsetkeho mas kvalitne kompy... co sa stara o raid pole na tom fileservery? Ide o SW, alebo "HW" raid? Potrebujes ten RAID5 vlastne? Nestacil by 1+0? Pripadne by som skusil testnut RAID4. Kolko diskov mas vlastne v tom poli?
Pises ze pri praci z ramdiskom su rychlosti 44/72 ...72MB je dost slusne si myslim, to uz by som sa priklanal k tomu, ze mas nejake straty po ceste + nejake straty sposobene tym "RAIDom" atd atd.
Viac som sa pytal ako radil, ale mozno som ta aspon nasmeroval.
PS: a kedze som zaujaty jak svina... preco hladas problem v tom linuxe preboha? Je aspon tak 10x logickejsie hladat chybu na druhom konci
Ja som milo prekvapeny, ze dosahujes take rychlosti, lebo pokial je to klasicky cat 5e UTP tak ta rychlost 1Gbit je skor teoreticka (nie ze by sa nedala dosiahnut, ale z osobnych skusenosti, tak okolo 10m po relativne rovnej trase)... skusil by som cat 6 kabel (neurobi zazraky, ale budes mat "istotu" ze nizka rychlost nieje sposobena utlmom v kably na trase)
Je nejaky specificky dovod preco pouzivas RAID5? Netrufam si tvrdit, ze RAID5 je pomaly, to isto nie... ale moze byt. Podla vsetkeho mas kvalitne kompy... co sa stara o raid pole na tom fileservery? Ide o SW, alebo "HW" raid? Potrebujes ten RAID5 vlastne? Nestacil by 1+0? Pripadne by som skusil testnut RAID4. Kolko diskov mas vlastne v tom poli?
Pises ze pri praci z ramdiskom su rychlosti 44/72 ...72MB je dost slusne si myslim, to uz by som sa priklanal k tomu, ze mas nejake straty po ceste + nejake straty sposobene tym "RAIDom" atd atd.
Viac som sa pytal ako radil, ale mozno som ta aspon nasmeroval.
PS: a kedze som zaujaty jak svina... preco hladas problem v tom linuxe preboha? Je aspon tak 10x logickejsie hladat chybu na druhom konci
-
zoom
- Používateľ
- Príspevky: 2318
- Dátum registrácie: Št 16. Jún, 2005, 20:00
- Bydlisko: Bratislava (40)
Takze pekne po rade:
Pocitace su od seba vzdialene mozno 3-4 metre vzdusnou ciarou, kabel ma tak 5 metrov. Skusal som viacero kablov, medzi inym aj Cat.5E UTP s ktorym to behalo podobne, ale prave pozeram, ze to mam v tomto okamihu prepojene Cat.6 STP kablom podobnej dlzky.
Planujem urobit nejaku kabelaz pocas najblizsich par mesiacov spolu s malym zariadovanim bytu, kde by som chcel pouzit Cat.7 S-STP kable... uvidime.
RAID5 pouzivam preto, lebo ma najmensie naklady na reziu. Rozmyslal som este nad 1+0, ale urcite nechcem vyhodit polovicu kapacity len tak do vzduchu. RAID5 bola jasna volba.
Hlavny komp je 3,2 GHz C2D, ako fileserver je pouzite lacne dvojjadrove Pentium E2140. Ale hovorim, pri kopirovani zaberaju RAIDove veci par percent CPU a Samba asi 15-19%.
O RAID sa stara linux o ktorom si myslim svoje, ale bohuzial je to jediny system so softwarovym RAIDom, ktory ho vie neskor aj rozsirit, takze som sa ho musel aspon trosicku naucit ovladat.
Co sa tyka rychlosti... nepaci sa mi to z toho dovodu ze:
1) RAIDove pole zvladne zapisovat ~100 MB/s sustained
2) Samotna siet da cca 120 MB/s, merane cez Iperf
Je jasne, ze nedosiahnem rychlosti 1,00 Gbit/s, ale 35 (45) MB/s je trochu malo, by som povedal.
A v linuxe hladam problem prave pre to, ze tuto komunikaciu obsluhuje Samba, co nie je nic ine ako nejaka zlatanina, co naucili komunikovat pomocou reverse-engineeringu, takze si myslim, ze je to nejaky jej spickovy vykon a ona to brzdi, aj ked nevyuziva naplno CPU. Dufam, ze toto trochu pomoze vyvoju, nech to za nieco aj stoji.
Pocitace su od seba vzdialene mozno 3-4 metre vzdusnou ciarou, kabel ma tak 5 metrov. Skusal som viacero kablov, medzi inym aj Cat.5E UTP s ktorym to behalo podobne, ale prave pozeram, ze to mam v tomto okamihu prepojene Cat.6 STP kablom podobnej dlzky.
Planujem urobit nejaku kabelaz pocas najblizsich par mesiacov spolu s malym zariadovanim bytu, kde by som chcel pouzit Cat.7 S-STP kable... uvidime.
RAID5 pouzivam preto, lebo ma najmensie naklady na reziu. Rozmyslal som este nad 1+0, ale urcite nechcem vyhodit polovicu kapacity len tak do vzduchu. RAID5 bola jasna volba.
Hlavny komp je 3,2 GHz C2D, ako fileserver je pouzite lacne dvojjadrove Pentium E2140. Ale hovorim, pri kopirovani zaberaju RAIDove veci par percent CPU a Samba asi 15-19%.
O RAID sa stara linux o ktorom si myslim svoje, ale bohuzial je to jediny system so softwarovym RAIDom, ktory ho vie neskor aj rozsirit, takze som sa ho musel aspon trosicku naucit ovladat.
Co sa tyka rychlosti... nepaci sa mi to z toho dovodu ze:
1) RAIDove pole zvladne zapisovat ~100 MB/s sustained
2) Samotna siet da cca 120 MB/s, merane cez Iperf
Je jasne, ze nedosiahnem rychlosti 1,00 Gbit/s, ale 35 (45) MB/s je trochu malo, by som povedal.
A v linuxe hladam problem prave pre to, ze tuto komunikaciu obsluhuje Samba, co nie je nic ine ako nejaka zlatanina, co naucili komunikovat pomocou reverse-engineeringu, takze si myslim, ze je to nejaky jej spickovy vykon a ona to brzdi, aj ked nevyuziva naplno CPU. Dufam, ze toto trochu pomoze vyvoju, nech to za nieco aj stoji.
Naco to vlastne chces vyuzivat?
Stale nechapem preco pouzivas RAID5... potrebujes mat data zabezpecene proti "krachu disku"?
Osobne si myslim, ze pokial mas minimalne prepatovu ochranu, alebo dokonca UPS a nehras s kompom futbal, tak dokazes pripadnu chybu disku vcas predpovedat a jednoducho disk zamenit kym este slape. Existuje predsa niekolko nastrojov, ktore priebezne kontroluju stav diskov (najednoduchsi sposob je checkovanie SMART udajov).
Prechod na vyhradne RAID0 nieje mozny?
Nemyslim si, ze tvoj problem je v SAMBE. SAMBA je predsa len nejaky front-end (alebo ako to nazvat) pre SMB (presnejsie CIFS protokol) a jej nastavenia velmi rychlost zapisu/citania neovplyvnia.
To ze MS az teraz uvolni uplnu specifikaciu je sice pekne, urcite to pomoze, ale tvoj problem to neriesi.
Ked ti na tom tak velmi zalezi, skus nahodit na ten win stroj linux a testnut rychlosti pri NFS. Ak budu vyssie, budes vediet len tolko, ze problem je bud "v SAMBE", alebo tvojejviste. Ak nebudu vyssie (a osobne si myslim, ze nebudu), tak zacni uvazovat nad tym, co naozaj potrebujes a snaz sa to optimalizovat.
Stale nechapem preco pouzivas RAID5... potrebujes mat data zabezpecene proti "krachu disku"?
Osobne si myslim, ze pokial mas minimalne prepatovu ochranu, alebo dokonca UPS a nehras s kompom futbal, tak dokazes pripadnu chybu disku vcas predpovedat a jednoducho disk zamenit kym este slape. Existuje predsa niekolko nastrojov, ktore priebezne kontroluju stav diskov (najednoduchsi sposob je checkovanie SMART udajov).
Prechod na vyhradne RAID0 nieje mozny?
Nemyslim si, ze tvoj problem je v SAMBE. SAMBA je predsa len nejaky front-end (alebo ako to nazvat) pre SMB (presnejsie CIFS protokol) a jej nastavenia velmi rychlost zapisu/citania neovplyvnia.
To ze MS az teraz uvolni uplnu specifikaciu je sice pekne, urcite to pomoze, ale tvoj problem to neriesi.
Ked ti na tom tak velmi zalezi, skus nahodit na ten win stroj linux a testnut rychlosti pri NFS. Ak budu vyssie, budes vediet len tolko, ze problem je bud "v SAMBE", alebo tvojejviste. Ak nebudu vyssie (a osobne si myslim, ze nebudu), tak zacni uvazovat nad tym, co naozaj potrebujes a snaz sa to optimalizovat.
-
zoom
- Používateľ
- Príspevky: 2318
- Dátum registrácie: Št 16. Jún, 2005, 20:00
- Bydlisko: Bratislava (40)
Fileserver mam z viacerych dovodov a tak to ostane. RAID5 mam preto, lebo chcem mat ochranene data proti pokazeniu disku, RAID0 teda nepripada do uvahy.
Na PC si nejdem nahadzovat linux, lebo aj keby to s nim behalo lepsie, tak mi to k nicomu nepomoze, pretoze pouzivam Windows.
Ako ono to nie je nejaky problem, len ma to tak zaujimalo, ci sa tam neda nieco nastavit, alebo pozriet, alebo co ja viem co. Nie som odbornik na ten radoby-OS s milionom o nicom nastaveni a uzivatelskym komfortom 0. Asi to teda ostane tak, ako to teraz je. Mozno ked budem niekedy velmi bohaty, kupim si normalny RAID radic, nahodim tam Windows a skusim to potom -- to by ma tiez zaujimalo, ake vykony by to podavalo.
Na PC si nejdem nahadzovat linux, lebo aj keby to s nim behalo lepsie, tak mi to k nicomu nepomoze, pretoze pouzivam Windows.
Ako ono to nie je nejaky problem, len ma to tak zaujimalo, ci sa tam neda nieco nastavit, alebo pozriet, alebo co ja viem co. Nie som odbornik na ten radoby-OS s milionom o nicom nastaveni a uzivatelskym komfortom 0. Asi to teda ostane tak, ako to teraz je. Mozno ked budem niekedy velmi bohaty, kupim si normalny RAID radic, nahodim tam Windows a skusim to potom -- to by ma tiez zaujimalo, ake vykony by to podavalo.
S tym linuxom som to myslel len kvoli testu... na 99% by si prisiel nato, ze chyba nieje v OS/SW ale najskor v HW. Nakoniec som sa ani nespytal, ake disky pouzivas, ako ich mas zapojene atd atd.
Ako si vravel, skus to na wine. Nepotrebujes radic, windows zvlada RAID polia (len o tom malokto vie
)
RAID0 a RAID1 som skusal a funguju, 5ku nie, ale ked sa budes drzat tohto navoda
tak by si nemal mat problem. Je to trosku zlozitejsie s RAID5, ale ak ti na tom az tak zalezi, tak jeden reboot do recovery modu nebude prekazka
Btw, ak to skusis, nechaj nejake info o tom ako RAID5 pod winom bezi... dost ma to zaujima.
Ako si vravel, skus to na wine. Nepotrebujes radic, windows zvlada RAID polia (len o tom malokto vie
)RAID0 a RAID1 som skusal a funguju, 5ku nie, ale ked sa budes drzat tohto navoda
tak by si nemal mat problem. Je to trosku zlozitejsie s RAID5, ale ak ti na tom az tak zalezi, tak jeden reboot do recovery modu nebude prekazka
Btw, ak to skusis, nechaj nejake info o tom ako RAID5 pod winom bezi... dost ma to zaujima.
-
zoom
- Používateľ
- Príspevky: 2318
- Dátum registrácie: Št 16. Jún, 2005, 20:00
- Bydlisko: Bratislava (40)
Teraz uz prave nejdem nic skusat, lebo uz tam mam nejake data a hlavne ten linux je uz ako tak nakonfigurovany a rozhodne sa mi nechce to od zaciatku robit, lebo si to uz ani nepamatam.
Ked som to este len skladal, tak som skusal vselijake distribucie a Windowsy. Mal som tusim Ubuntu, CentOS, nakoniec teda ten upraveny Debian, co tam ostal teraz. Vo vsetkych sa o RAID stara mdadm.
Ako Windows som skusal tusim obycajne XP s tym, ze doska sa starala o RAID (ICH9R) -- to bolo mierne katastrofalne, kopirovanie dat fungovalo asi tak, ze strasne rychlo, kym sa zaplnila pamat coby cache, potom zasa pomaly, kym to ukladalo na disk a tak dokola. Skusil som aj beta verziu Windows Server 2008 s RAID5 obsluhovanym priamo Windowsom. RAID5 fungoval OK (rychlosti si uz nepamatam), akurat nesiel rozsirovat a mal som nejaky bug, takze cez Windows Sharing som kopiroval velmi pomaly, aj adresare mi otvaralo asi 3 sekundy pri browsovani.
Ked som to este len skladal, tak som skusal vselijake distribucie a Windowsy. Mal som tusim Ubuntu, CentOS, nakoniec teda ten upraveny Debian, co tam ostal teraz. Vo vsetkych sa o RAID stara mdadm.
Ako Windows som skusal tusim obycajne XP s tym, ze doska sa starala o RAID (ICH9R) -- to bolo mierne katastrofalne, kopirovanie dat fungovalo asi tak, ze strasne rychlo, kym sa zaplnila pamat coby cache, potom zasa pomaly, kym to ukladalo na disk a tak dokola. Skusil som aj beta verziu Windows Server 2008 s RAID5 obsluhovanym priamo Windowsom. RAID5 fungoval OK (rychlosti si uz nepamatam), akurat nesiel rozsirovat a mal som nejaky bug, takze cez Windows Sharing som kopiroval velmi pomaly, aj adresare mi otvaralo asi 3 sekundy pri browsovani.