Reflash mini H310 do IT modu

[Hexaris]

Snad som nic neporusil a nebude ovocie ... gramatiku teraz vecer asi nedam, ked tak rano (:

Ak uz niekto z vas pouzival mini kartu H310 v dell serveri RXXX, tak v mode RAID ma tato karta zalostny vykon a o "queue depth" radsej pomlcim. Kazdy disk sa da nastavit ako RAID0, ale stale sa nejedna o priamy pristup ako v pripade HBA.
Existuje moznost kartu flashnut do IT modu na normalny LSI FW s tym, ze:

1. Stratite moznost LED diagnostiky (zostane iba aktivita)
2. SAS porty su prehodene a zrkadlene, takze poradie v backplane je 0,1,2,3,4,5,6,7->7,6,5,4,3,2,1,0
3. Karta nie je detekovana ako Dell HW a nie je mozne z nej ziskat teplotu, co ma za nasledok 50% vykonu fan-ov (riesenie bude uvedene nizsie)

Ak vas predchadzajuce body neodradili a akceptujete riziko brick-nutia postup je nasledovny:

Testovane na debiane 9/10, ostatne distra by na tom mali byt podobne ... Ak vam chyba nejaka utilita treba ju doinstalovat cez apt.

Stiahneme si sw MegaCli zo stranok broadcomu (lsi (avago)) a rozbalime pomocou unzipu a nasledne cez 7zip.

Kód: Vybrať všetko

$ wget https://docs.broadcom.com/docs-and-downloads/raid-controllers/raid-controllers-common-files/8-07-14_MegaCLI.zip
$ 7z x Linux/MegaCli-8.07.14-1.noarch.rpm
$ 7z x MegaCli-8.07.14-1.noarch.cpio

Nastavime prava na spustanie a utilitu pouzijeme aby sme ziskali SAS adresu. Adresu si niekde ulozte, bude sa spatne zapisovat. Toto plati hlavne ak mate viac kariet. V pripade jednej karty moze zostat adresa prazdna, osobne to vsak nedoporucujem.

Kód: Vybrať všetko

$ chmod 755 opt/MegaRAID/MegaCli/MegaCli64
$ opt/MegaRAID/MegaCli/MegaCli64 -AdpAllInfo -a0 | grep SAS\ Address
# Ziskana adresa
SAS Address : 5c81xxxxxxxxxxx

Balicek .rpm je mozne konvertovat do .deb a nasledne ho nainstalovat a pouzit utilitu rovnakym sposobom ako je uvedene vyssie.

Kód: Vybrať všetko

$ apt install alien
$ alien Linux/MegaCli-8.07.14-1.noarch.rpm --scripts
# Vystup
megacli_8.07.14-*_all.deb generated
$ dpkg -i megacli_8.07.14-2_all.deb
$ /opt/MegaRAID/MegaCli/MegaCli64 -AdpAllInfo -a0 | grep SAS\ Address

Teraz si stiahneme lsiutil a skompilujeme.

Kód: Vybrať všetko

$ wget https://github.com/exactassembly/meta-xa-stm/raw/master/recipes-support/lsiutil/files/lsiutil-1.72.tar.gz
$ tar xzf lsiutil-1.72.tar.gz
$ make -C lsiutil -f Makefile_Linux
$ git clone https://github.com/marcan/lsirec
$ make -C lsirec

Odstranime modul z kernelu. Nesmie byt pripojeny ziadny disk, inak tento postup zlyha.

Kód: Vybrať všetko

$ rmmod megaraid_sas

Nastavime hugepages.

Kód: Vybrať všetko

$ echo 16 > /proc/sys/vm/nr_hugepages

Kartu nastavime do reset modu.

Kód: Vybrať všetko

# Ziskame adresu
$ lspci -nnv | grep H310 -B1
01:00.0 RAID bus controller [0104]: LSI Logic / Symbios Logic MegaRAID SAS 2008 [Falcon] [1000:0073] (rev 03)
 Subsystem: Dell PERC H310 Mini Monolithics [1028:1f51]
# Nastavime reset mod
$ lsirec/lsirec 0000:01:00.0 unbind
$ lsirec/lsirec 0000:01:00.0 halt

Ziskame SBR. Pri klasickom postupe cez nativne flash aplikacie dochadza na zaciatku k prepisanu SBR prazdnym suborom, co ma za nasledok brick-nutie, nakolko server si v danom porte u karty overuje vendor ID.

Kód: Vybrať všetko

$ lsirec/lsirec 0000:01:00.0 readsbr H310MM.sbr

Prekonvertujeme SBR do citatelneho formatu

Kód: Vybrať všetko

$ python3 lsirec/sbrtool.py parse H310MM.sbr H310MM.cfg

Upravime .cfg subor aby vyzeral nasledovne.

Kód: Vybrať všetko

Unk00 = 0x0022f661
Unk04 = 0xb34f2000
Unk08 = 0x91d700f8
PCIVID = 0x1000
PCIPID = 0x0072
Unk10 = 0x0000
HwConfig = 0x0104
SubsysVID = 0x1028
SubsysPID = 0x1f51
Unk18 = 0x00000000
Unk1c = 0x00000000
Unk20 = 0x00000000
Unk24 = 0x00000000
Unk28 = 0x00000000
Unk2c = 0x00000000
Unk30 = 0x40000000
Unk34 = 0x0300c650
Unk38 = 0x00000000
Unk3c = 0x00000000
Interface = 0x00
Unk41 = 0x2c
Unk42 = 0x0000
Unk44 = 0x00000000
Unk48 = 0x0000
Unk4a = 0x00

A zasa spat prekonvertujeme .cfg na SBR.

Kód: Vybrať všetko

$ python3 lsirec/sbrtool.py build H310MM.cfg mod_H310MM.sbr

Zapiseme SBR naspat do karty.

Kód: Vybrať všetko

$ lsirec/lsirec 0000:01:00.0 writesbr mod_H310MM.sbr
# Vystup by mal vyzerat nejak takto
Device in MPT mode
Using I2C address 0x54
Using EEPROM type 1
Writing SBR...
SBR written from mod_H310MM.sbr

Stiahneme si FW pre LSI2008 zo stranky https://docs.broadcom.com/docs/12350530 a niekam rozbalime.

Skontrolujeme si ID karty (pre istotu).

Kód: Vybrať všetko

$ lspci -vns 0000:01:00.0 -A intel-conf1 | head -n2

Ak je vsetko v poriadku, zrusime reset mod a cez hostboot si karta natiahne FW (nejedna sa o flash).

Kód: Vybrať všetko

$ lsirec/lsirec 0000:01:00.0 hostboot /cesta_k_lsi_fw/2118it.bin

Nechame kernel znovu oskenovat kartu. Mal by sa nacitat mpt3sas ovladac a karta by mala byt vidiet ako normalny LSI radic.

Kód: Vybrať všetko

$ lsirec/lsirec 0000:01:00.0 rescan

V pripade, ze vsetko prebehlo v poriadku, mozeme flashnut kartu

Kód: Vybrať všetko

$ lsiutil/lsiutil -e

V menu vyberieme nas adapter. Ak by sa karta nezobrazila, skuste odobrat cez rmmod mpt3sas modul a znovu nacitat cez modprobe. Pripadne znovu unbind->halt->hostboot->rescan
Zvolime option 46 (upload flash) a potom option 5 (complete all section) pre vytvorenie zalohy aktualneho FW. Bude treba zadat cestu kam sa ma ulozit.
Vratime sa do menu a zvolime option 33 (erase non-volatile storage) nasledne option 3 (flash) a option 8 (Persistent manufacturing config pages)
A nakoniec flash samotneho FW, option 2 (download firmware - update flash) a zadame cestu k suboru /cesta_k_lsi_fw/2118it.bin
Adresu SAS zapiseme cez option 18 (Change SAS WWID) - vyzaduje restart servera !

Nasledne by ste mali mat kartu v IT mode a mozete zacat pouzivat napr ZFS s pod.
Karta pre bootovanie vyzaduje dodatocne flashnut cez lsirec mptsas2.rom. To vam umozni vybrat 2 disky pre boot a to boot device a alternative boot device.

Zregulovanie fan-ov cez ipmitool

Kód: Vybrať všetko

$ ipmitool raw 0x30 0xce 0x01 0x16 0x05 0x00 0x00 0x00
# Ak vyzera odpoved takto, tak je rychlost na 50% cca.
16 05 00 00 00 05 00 00 00 00
# Ak vyzera odpoved takto, regulacia ignoruje nasu neznamu kartu pcie H310
16 05 00 00 00 05 00 01 00 00

# Pre ignorovanie karty
$ ipmitool raw 0x30 0xce 0x00 0x16 0x05 0x00 0x00 0x00 0x05 0x00 0x01 0x00 0x00 
# Povodne nastavenie
$ ipmitool raw 0x30 0xce 0x00 0x16 0x05 0x00 0x00 0x00 0x05 0x00 0x00 0x00 0x00 

[Snake]

Zlaty dobry SmartArray/SmartRAID

[Hexaris]

Tak ale H310 je stara potvora a je to v podstate low end (: ... mam tu este H710, ale nie je cas sa tomu venovat. To mas ako s p410i kde to nejde, ale ak by existovala moznost, tak preco nie.

Kurna Chris je nejak ticho, asi mu napisem, ci vobec zije

[Chris]

a vykonove porovnanie ? kde bude ?

Ale zijem, len sa cely tyzden seriem s najnovsou Netapp UVA 9.7 s VSC,VASA a SRA a integrovalo s vcsa. Kedze deployujem mensi Netapp AFF A220

[faugusztin]

A aky vykon chces porovnavat? IT mod na LSI radicoch sa rovna "stupidny HBA bez RAIDu".

[Hexaris]

Tak mozno ide o obsadenost diskama a queue depth, inak vseobecne LSI2008 neni uplne zla volba ak je tam normalny FW Dost samozrejme pomoze FS, kde niektore veci maju uplne iny vykon. Ale to je na dlhsi pokec ...

[Chris]

Si myslim ze na teoriu tu mame inych teoretikov co maju cas vypisovat.

Proste dostanes uplne ine vykony s napr. ZFS s buildin radicom na doske, IR mode a spominany IT mode
Preto daj sem benchmarky

[Hexaris]

Nemam aktualne uz povodnu 310, iba reflash, ale zaciatkom tyzdna spravim par testov a poslem ti to a dam to aj sem. Teda ak to bola reakcia na mna

[Hexaris]

1 - cisto cez HW raid, testovacka 2x disk mirror ext4 (v3)
2 - nativne ext4 jeden disk cez reflash hba (v2)
Vsetko je v produkcii tak neni vela moznosti, ak bude volne zelezo urcite otestujem podrobnejsie aj zfs a jeho recordsize, kompresiu, atd..