DDR4 speed vx. Xeon

[PCnity]

Hello,

Vie mi neikto poradit? Robim X99 build a pojde tam 8c Xeon (predprodukcna verzia) E5-1660V3, ktoreho integrovany memory controller dava maximalne 2133 MHz... Ten system bude hodne vyzierat pamat a tak som sa snazil najst pamat s co najvacsou priepustnostou.

Pri tom som sa dostal k 2133 pri CL12-12-12-35. Co je slusne, ale nasledne som este nasiel DD4-3000 pri CL13-13-13-35 co je viac nez slusne = 8.6 ns pristup.

Lenze... Da sa Xeon vobec prinutit komunikovat s pamatami na 3000 MHz? Snazil som sa googlit, ale nedosiel som k jednoznacnemu zaveru. Ak ano, su jednoznacne lepsie ddr4-3000 s CL13, ak nie potrebujem najst ddr4-2133 s najnizisou moznou CL.

[mp3turbo]

toto bude komplikovane. Najprv sa ubezpec aby BIOS na doske ktoru chces pouzit vobec vedel s tymto CPUckom vypravat, inak bude zle. Moze ti napriklad padat a podobne, zazil som to zoparkrat.

Pamate: rozhodne musis pouzit stvorkanalove zapojenie, inak dochadzas o priepustnost. Nepises ani kapacitu ani pocet modulov co ta zaujimaju, tak neviem k tomu nic povedat. Problem samozrejme je ze cim viacej modulov nasekas, tym horsie sa pretaktovavaju a tym slabsie frekvencie dosiahnes.

Podalsie, tento čip ma napisanu priepustnost pamatoveho subsystemu 68GB/s v ramci specifikacie, cize ked to pretocis tak budes mat este viac. Nie gigabit, ale gigabajt za sekundu. Nejako si dovolim pochybovat ze tento enormny tok dat dokazes vygenerovat, kazdu boziu sekundu.

Inak povedane, tvoja honba za pikosekundami je podla mna dost hodne zbytocna. Na ake konkretne pouzitie to mas, prezradis ? Pretoze mam taky zurivy vodojem ze priepustnost pamatovych zbernic je dobrych 10 rokov v Intelovom svete to naozaj posledne co ta ma trapit. V poslednom rade je nutne poznat svoju aplikaciu a vediet, ci je citlivejsia na latencie alebo na priepustnost, pretoze niekedy moze byt 3000MHz/12-12-12-12 lepsie ako 2133/9-9-9-9 a naopak. V suvislosti s tymto sa vratim k tomu poctu kanalov : 68GB/s hodia 4 kanaly, teda dva mas "len" 34GB/s. Zase sa bavime o 2133MHz takte, cize ked to pustis na vyssej frekvencii, tak dosiahnes viac ako 34GB/s aj s dvomi kanalmi.

Moje osobne odporucenie : nespekuluj s frekvenciami, neries 3000MHz za kazdu cenu - pri kvalite intelackej architektury, cache pamatiach v procesore a celom tom pipeline je to uplne zbytocne. Nedokazes to vyuzit *ehm tipnem si* a osem modulov na 3000MHz neudrzis ani nahodou.

Planovanie poctu fyzickych modulov,ich frekvencie, priepustnosti a latencii je extremne zaujimave pre servery. V praxi ale zurivou optimalizaciou dosiahnes par percent rozdielu v tych uplne najlepsich najextremnejsich pripadoch. Moje jednoduche doporucenie avsak zdoraznujem bez znalosti aplikacie : naladuj tam styri kanaly (mozno bude potrebovat osem modulov, nemam to teraz v oku i ked prevadzkujem x99/5820k) na klasickych 2133MHz, moc viac toho nenaspekulujes.

[dexterav]

hlavne si over funkčnosť toho samplu, niektoré ES nemusia bežať dobre
o nárastoch výkonu pri ram platí to čo aj doteraz , výsledok nikdy nestojí za vynaložené E, mierne povedané
samozrejme leda kúpiš tie najlacnejšie a tie poladíš

[PCnity]

Diky za komenty...
1) Ide o spracovanie dat, servre co to robia v realy su E3-xxxx v3 s dual channel ddr3 a sata diskami... Lenze tam je jedno ako dlho bude trvat kym da dole jeden batch. Viac menej je to transformacia dat na urovni TiB, robim to masivne paralelne a u mna je vacsinou bottleneck prave CPU (cize aj RAM BW). Ako test Batch staci 100 GiB dat z SSD, ale ma to ist rychlo nech nemusim cakat. Novy build bude mat len 512 GB SSD SM951-NVMe (dufam ze v oktobri uz budu dostupne).

2) Pravdaze to bude 4 kanalove zapojenie, ale budu pouzite 2 moduly na kanal co performacu moc nepraje [8x8 GiB]. A vobec mi nejde o pikosekundy, ale o priepustnost systemu tak ako pises... Ta vsak zaavisi prave hlavne na kombinacii CL a frekvencie. Z mojich starych skusenosti vyplyva ze nikdy by sa nemalo podcenovat casovanie pamati, specificky access time... Zbytocna je privysoka freq ked CPU caka vela taktov na data. Na odhadnutie vykonu RAMiek pouzivam vzorec CL / Freq * 2000 s tym ze vysledok ma byt co najnizsi OFC. Samotna aplikacia to asi nedokaze vyuzit , aj ked som dost neschopny dev, pouziva sa GC a appka drzi nehorazne vela bordelu na heape Davam do toho vsak vela penazi a tak z principu chcem co najlepsi system aj ked je to silly nakolko som mal doteraz E3 a dual channel.

Tie GeIL ramky s CL 13-13-13-35 pri 3000 su proste geil PRF = 8.66... Pri 2133 su aktualne najlepsie CL12-12-12-35, PRF = 11.25

Ak vsak na Xeone nebudem vediet zvysit frekvenciu DIMM, tak aj tak nie je co riesit. Dalsia vec co ma zaujima je ze ako by to ovplyvnilo TDP/Teplotu? Chcem nearly silent build... V pretaktovani vypoctovych CPU jadier nevidim zmysel, preto som pouzil 8c/16t.

3) Je to ESko, nemam moznost ho vopred otestovat. Clovek od ktoreho ho beriem mal otestovane 2 ine dosky [ASUS Z10PE-D16 WS a tiez ASRock X99 Extreme11], ja som zvolil ASRock Fatal1ty X99X Killer/3.1 nakolko bola len o par eur drahsia ako najlacnejsia [ASUS X99-A/USB 3.1] splnajuca moje poizdavky [TPM Header, Ultra M.2, 8x DIMM, oficialna podpora Xeonov, USB 3.1, 2x USB 3.0 internal header, ATX format]. Je to overclockerska doska, ma aj ten "asusacky" socket 2017 Ale workstation dosky to zbytocne predrazovali, navyse tam ani nemienim davat ECC alebo REG RAM. A zaroven je to moj desktop, cize sice som pozeral aj na ASRock Rack EPC612D8A-TB, ale nevidim v tom ziadne pozitiva... Len je drahsia, ma zbytocne integrovanu VGA. Doma IP KVM skutocne nepotrebujem.

[mp3turbo]

no pockaj, ty si tam toho pomotal... zacneme s tym, a skoncime, ze absolutne zbytocne nahanas cokolvek - NEBUDES SCHOPNY ZATAZIT TEN PAMATOVY SUBSYSTEM.

Ok ? Toto je kluc k celej teme. Bez najmensej debaty 68GB/s je 68GB/s, uplne zbytocne spekulujes.


A teraz drobnosti : ty nestavas server, ty stavas X99 platformu ktora sa sprava inak ako skutocne servery. Servery co mas teraz maju ultra-slabucke E3ky, teda ked si dobre pamatam tak maximalne 16GB RAM. Akonahle pridas pamat tvojej aplikacii a tato aplikacia je vykonovo viazana na pamat (typicky databazy, OLAP, OLTP a pod, avsak ultra-extremny pozor na konfiguraciu, pretoze tam je tisic veci ktore mozes posrat z vykonoveho hladiska, zacinajuc kde len chces a konciac query ktore vykonavas). Nedokazzes vyhmatat 60GB/s z pamate, ako ich spracujes ? Nespracujes. Kde ich ulozis ? Neulozis. Kam ich prenesies a ako ? Neprenesies. Aj keby si mal tri 56Gbit Infiniband interfejsy co nemas (mas aspon desat gigabity ?), aj tak prenesies len 18GB/s. Proste co s tymi datami spravis, odkial sa zoberu a/alebo kam pojdu ?

Ked je u teba bottleneck CPU, vobec to neznamena ze zaroven "aj RAM BW" ako pises. Jedna vec je kolko dat dokaze CPU natlacit cez svoje lanes, druha uplne odlisna vec je ich spracovanie, ked ti CPU ide na 100.0%, vobec to neznamena ze tlaci maximalne mnozstva dat z/do pamate.

S tymi NVMeckami ti drzim palec, na druhu stranu ziadne z nich neprenesie viac ako 6.4GB/s pretoze to je prakticky limit PCI-Express 8x zbernice, verzia 3.0 (verzia 2.0 tlaci trosku menej ako polovicu takze 3 az 3.2GB/s max v praxi). Na X99 doske mas maximalne 5 alebo 6 slotov a nerob si nadeje ze vsetky su 3.0, takze ked realne dokazes 15GB/s na styroch SSDckach, tak budes frajer neskutocne moc veliky a to sa bavime o linearnom transferi, zdaleka nie o nejakej databazi. A zase je tu otazka ci dokazes spracovat tolko dat za sekundu. Budes mat tri-styri NMVe (no dvadsat ich mat nebudes v tej doske), cize sa bavime o ~2TB kapacite, a nie sto terra. Priznam ti pravdu ze neviem, teda respektive viem, ci sa zbytocne nezenies za nejakou chymerou.

Casovanie pamati sa nema podcenovat, avsak ani precenovat. Trosku som sa uz "napocital" na brutalnych, fakt brutalnych masinach, 4sockety prehadzujem vidlami kazdy den, 512GB RAM pre mna nie je ziadne cislo, 10 PCI slotov ma nevzrusuje uz hodne dlho, ale nikdy v zivote som ani necuchol k akymkolvek limitom spojenym s vykonom pamati.



>> Davam do toho vsak vela penazi a tak z principu chcem co najlepsi system aj ked je to silly nakolko som mal doteraz E3 a dual channel.

ver mi, ze pamat je absolutne posledne s cim musis spekulovat. Teda jej "vykon". Ries mnozstvo (GB) a predovsetkym optimalizaciu tvojej aplikacie. Ries storage, ako rychlo ti dokaze podsuvat data ? Nemysli si ze ked kupis NVMe ktore papierovo ma napisane 400.000 IOPS, ze spravis 400k v reali, a uz vobec si nemysli ze ked zraidujes styri, ze budes mat milion a pol. Hovoris o bordeli na heape, a mozeme rovno skoncit o AKEJKOLVEK performance optimalizacii. Co to mas, pravu poctivu nefalsovanu super-performance Javu ?


Ako by to ovplyvnilo TDP ? Vobec. Teplotu ? CPUcka statisticky plusminus nic, pretoze ten memory kontroler nie je signifikantny faktor. Chces nearly silent build ? Good luck. Ked vymyslis nearly-silent server, kupia to od teba vsetky datacentra na svete, gratulujem. A mozeme zhasnut [pokial ti za budovou netecie zrovna horsky potocik z ktoreho by si externymi cerpadlami nahanal vodu do extremne custom vodneho chladenia tvojho "serveru", ale bacha na chladenie vsetkeho, aj pamati budes mat vela nahromade, aj chipset si uz pri takomto pocte vypyta svoje, nezabudni ze kazde Samsung NVMemko vyziari okolo 20 az 25W stratoveho tepla, ked ich mas styri nahromade to uz sa zacne topit bez chladenia), no proste cele sranda.


A na zaver, velmi starostlivo si vyčekuj ci doska ktoru si si vybral moze pouzivat aj unbuffered ECC v tomto pocte a kapacite (je tam velka veda v pozadi ohladne kalkulacie ktora pamat moze ist v akej konfiguracii).

Skus si precitat napriklad toto : http://h20566.www2.hpe.com/portal/site/ ... cachetoken

"Configuring and tuning HP ProLiant Servers for low-latency applications"

rozpravaju o viacerych veciach, ale vobec sa neseru s 3000MHz. Okrem ineho to proste nie je mozne, nedokazes udrzat Y modulov na 3000MHz. Ked mas jeden alebo dva, mozno hej. Prihod k tomu ECC, uz je to ina pesnicka.