Problem s SSD diskom?

[molnart]

Kupil som si tuna na fore SSD disk. SMART udaje su v poriadku, najazd OK.

Disk pouzivam pre Proxmox na virtualizaciu, je na nom ulozeny samotny Proxmox a potom virtualne disky jednotlvych VM.

Proxmox som mal povodne na mensom disku, naklonoval som ho na tento vacsi a dost som laboroval aby som rozsiril LVM pool, ale podarilo sa, neviem ci uplne spravne.

Nuz stava sa mi taka vec, ze ked kopirujem data v ramci LVM pool tak to trva strane dlho. Potom sa mi stalo uz asi 3x ze VM disk mi prestal fungovat. Jednoducho VM nenabootoval a ked som sa pozeral ako vyzera ten disk tak som tam videl iba unallocated sectors.

Poslednu dobu mi nejde obnovit ani zaloha VMiek na to SSD, ide to pomaly, zasekne sa to apod. Samotny Proxmox ale funguje bez problemov.

Skusal som rozne tooly na test prenosovej rychlosti. Napr. dd ked spustam z proxmoxu tak mi dava cca. 200 MB/s. Ak ho pustim z virtualnej masiny tak to dava iba okolo 75 MB/s.

Moje podozrenie je, ze mam problem v lvm-thin poolom kde su ulozene disky VMiek. Na proxmoxe prevadzkujem aj par containerov, tie ziadny problem nemaju.

asi spravim na kompletku reinstall, ale predtym by som rad otestoval komplet disk aby som si bol isty ze nie su tam nejake casti kde moze byt problem. ako na to najlepsie?

[Hexaris]

U pc budem az vecer a ohladom druhej temy tiez napisem. Nepises ci lxc alebo kvm. U kvm je dolezite co si vlastne nastavil ako storage driver. Ak nie je nejaky dovod na nieco specialne tak jedine virtio driver. LVM thin sam o sebe len rozlisuje co je skutocne zapisane tak mozes nastavit vacsiu velkost nez je realna.

[molnart]

diky, vsetky tie testy co si dal do vedlajsej temy som skusal, a nic z toho nejavilo ziadny problem. bonnie++ som vedel spustit len z virtualky lebo mam viac ram ako miesta na disku

problem mam s KVM, LXC funguju v pohode. rychlost v samotnej virtualke je relativne v pohode (ak za to mozem povedat 75 MB/s), problem je ze virtualka mi po case klakne a jeho (virtio SCSI) disk sa javi ako prazdny. nasledne ked chcem obnovit backup z ineho disku tak to trva vecnost, vyskoci I/O delay na 50-70% a vytuhnu mi zvysne virtualky. naklonovat vm sa nepodarilo nikdy, dostane sa to na nejake 3-5% a potom to vytuhne

ked sa pozriem na iotop tak na vrchu je proces kworker/u128:1+dm-thin

lvm-thin pool mam vyuzity na nejakych 30% realnych dat, aj ked kvoli snapshotom celkova kapacita diskov je vacsia.

mam k tomu zalozenu temu aj na proxmox fore https://forum.proxmox.com/threads/huge- ... ost-336904

[HellAngel]

a nie je to moc velka zataz na to SSD? Prezenie sa to so zatazou a jednoducho prestane fungovat. Pri tolkych virtualkach, by som riesil raidove pole a zataz rozdelil.

[molnart]

nie je tam ziadny velky traffic a toto sa deje aj ked vsetky virtualky su off.

teraz mi tam napr. bezi len OPNsense, aj ten som presunul na HDD, vsetko ostatne som vypol. chcel som pokusne naklonovat jednu virtualku, za 5 min to spravilo 3% a dopadlo to takto: https://imgur.com/a/kEHkP0Z a tom som proces po chvili vypol, ten delay tam ostal bohvie preco

EDIT:
1) vymazal som lvm pool a vytvoril ho znova. nepomohlo.
2) prehodil som disk z ODD adaptera na sata port z radica. tiez nepomohlo

[molnart]

prave som objavil toto:

vyzera to byt nieco s kernelom. co s tym?

Kód: Vybrať všetko

[ 1813.398698] INFO: task systemd-udevd:6145 blocked for more than 362 seconds.
[ 1813.398720]       Tainted: P           O      5.4.60-1-pve #1
[ 1813.398732] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
[ 1813.398749] systemd-udevd   D    0  6145    394 0x00000324
[ 1813.398751] Call Trace:
[ 1813.398758]  __schedule+0x2e6/0x6f0
[ 1813.398761]  ? fsnotify_grab_connector+0x4e/0x90
[ 1813.398762]  schedule+0x33/0xa0
[ 1813.398764]  schedule_preempt_disabled+0xe/0x10
[ 1813.398765]  __mutex_lock.isra.10+0x2c9/0x4c0
[ 1813.398768]  ? exact_lock+0x11/0x20
[ 1813.398769]  ? disk_map_sector_rcu+0x70/0x70
[ 1813.398770]  __mutex_lock_slowpath+0x13/0x20
[ 1813.398771]  mutex_lock+0x2c/0x30
[ 1813.398772]  __blkdev_get+0x7a/0x560
[ 1813.398774]  blkdev_get+0xef/0x150
[ 1813.398775]  ? blkdev_get_by_dev+0x50/0x50
[ 1813.398776]  blkdev_open+0x87/0xa0
[ 1813.398778]  do_dentry_open+0x143/0x3a0
[ 1813.398779]  vfs_open+0x2d/0x30
[ 1813.398781]  path_openat+0x2e9/0x16f0
[ 1813.398784]  ? unlock_page_memcg+0x12/0x20
[ 1813.398786]  ? page_add_file_rmap+0x131/0x190
[ 1813.398787]  ? wp_page_copy+0x37b/0x750
[ 1813.398789]  do_filp_open+0x93/0x100
[ 1813.398791]  ? __alloc_fd+0x46/0x150
[ 1813.398792]  do_sys_open+0x177/0x280
[ 1813.398793]  __x64_sys_openat+0x20/0x30
[ 1813.398795]  do_syscall_64+0x57/0x190
[ 1813.398797]  entry_SYSCALL_64_after_hwframe+0x44/0xa9
[ 1813.398798] RIP: 0033:0x7fbc5735e1ae
[ 1813.398802] Code: Bad RIP value.
[ 1813.398803] RSP: 002b:00007ffedf8ee220 EFLAGS: 00000246 ORIG_RAX: 0000000000000101
[ 1813.398804] RAX: ffffffffffffffda RBX: 0000000000000000 RCX: 00007fbc5735e1ae
[ 1813.398804] RDX: 0000000000080000 RSI: 0000557adbeb6950 RDI: 00000000ffffff9c
[ 1813.398805] RBP: 00007fbc56b7dc60 R08: 0000557adb452270 R09: 000000000000000f
[ 1813.398805] R10: 0000000000000000 R11: 0000000000000246 R12: 00000000ffffffff
[ 1813.398806] R13: 0000000000000000 R14: 0000000000000000 R15: 0000557adbebe450

[molnart]

je to problem s diskom.

spravil som novu instalaciu proxmox, problem pretrvava. obnova backup VM ide tak 2 MB/s
zobral som ine stare 120 GB ssd, nainstaloval som proxmox, obnovil 3 VM (ktore sa mi tam zmestili), zapis podla iotop 150-200 MB/s

zaujimave je vsetky tie testy cez DD, bonnie++ apod idu bez problemov.

idem nahodit disk do windows masiny a spravim kompletny read/write test cez HDsentinel a uvidim co to ukaze.

[molnart]

takze prehodil som si disk do windows pc, pustil HD Sentinel Write & Read test. dopadlo to nasledovne:

1) Prvy test bol relativne v pohode, rychlost zapisovania normal okolo 250 Mb/s (disk je na SATA 2 konektore), az po uroven nejakych 85%, potom zacalo spomalovanie na 90 Mb/s. nemam screenshot, lebo hned sa pustil read test, a data z write testu sa neulozili
2) Nasledne som si povedal ze disku dam zabrat, tak som pustil refresh data test ktory bezal 12 hodin s celkom dramatickym poklesom vykonu (test som pustal odzadu, tak nebol sekvencny)
https://1drv.ms/u/s!Al0zdRmBAsspgvoMKpI ... Q?e=DAO9cW
https://1drv.ms/u/s!Al0zdRmBAsspgvoNcTr ... g?e=MXGa2e
3) nasledne som skusil opat write test, tentokrat s ovela zalostnejsimi vysledkami, ani som to nenechal dobehnut
test run1: https://1drv.ms/u/s!Al0zdRmBAsspgvoORrN ... Q?e=n9dszt
https://1drv.ms/u/s!Al0zdRmBAsspgvoPcj- ... A?e=aCpX6E

test run2: https://1drv.ms/u/s!Al0zdRmBAsspgvoQazi ... Q?e=ps8WWy

zaujimave je ze tie pomale sektory nie su na rovnakom mieste

[Hexaris]

Ten podobny error sa zobrazil aj mne ked som mal neaktualizovany zfs modul v novom kerneli. Proste spracovanie trva prilis dlho a blokuje to zbytocne cpu. Aj ked pxm team nedoporucuje consumer ssd, tak toto plati hlavne uz zfs, tam to dokazalo zabit low end ssd za par tyzdnov. Niekedy aj menej. (:
Dalsia vec ci mas subs a nasledne aktivne ent. repo pre update pve packages + kernel. Inak mas iba tie ktore sa tykaju debianu.

Dolezite je, ze si problem nasiel

[molnart]

no po tvojom prispevku mozem zabudnut ze uplatnim nejaku reklamaciu tuna u predavajuceho

kazdopadne disk je uplne dead, bezny write test ktory vcera isiel 250 MB/s, na konci disku 90 MB/s vyzera teraz takto https://1drv.ms/u/s!Al0zdRmBAsspgvoTN30 ... w?e=Cag3Eb a neda sa ani naformatovat. smart sa ale tvari ako keby sa nechumelilo, aj extended test prejde uplne bez problemov.

prave som tam hodil nove 860 EVO, ako ho zabije vyreklamujem a doplatim za nejake enterprise grade. ale zasa tam nemam ani zfs ani ziadne databazy (okrem influxdb). v podstate vsetko co mi tam bezi bezalo aj predtym na 1000 rocnom OCZ SSD ktory ma asi 150TBW, akurat ako baremetal a nie VM. jedine co k tomu pribudlo je OPNSense, ale ten bezne spustaju aj s USB diskov a SD kariet takze vela nezapisuje. a potom este samozrejme samotny overhead pve.

subscription nemam, na homelab sa mi zda zbytocne, radsej to vrazim do diskov

edit: mna asi yebne. prave som doinstaloval pve na ten novy samsung, idem obnovit prve VM zo zalohy a ono to ide rychlostou 12 MB/s a IO delay opat v nebi
nerozumiem preco na tom starom SSD to ide v pohode

[stiv]

Mohol by si skusit nejaky poriadejsi disk a nie to smetie co je na win a hry.

Aky ocz to bol?

[molnart]

Vertex3. akoze prekopirovat jeden 8GB subor na lvm volume potrebuje "poriadnejsi disk"?? na tom systeme mi nic nebezi, je cerstvo nainstalovany a nabootovany. 12 MB/s nie je rychlost kopirovania ale celkova aktivita zapisu vsetkych diskov podla iotop.

[Hexaris]

Backup na mirror Intel DC S3700
---
INFO: backup is sparse: 11.99 GiB (18%) total zero data
INFO: transferred 64.00 GiB in 489 seconds (134.0 MiB/s)
INFO: archive file size: 48.01GB
INFO: Finished Backup of VM xxx (00:08:09)
INFO: Backup finished at 2020-09-14 20:01:37
INFO: Backup job finished successfully
TASK OK
---

Zapis bol okolo 50-60MB/s a to z dovodu kompresie, ktora vyzaduje procak a este ma znizenu prioritu ... a to bezi na tom kopec lxc + kvm

edit: vsetko na zfs ...

[molnart]

no neulozil som si logy, ale u mna to trvalo 1:35

[Hexaris]

Ak mas pravidelny backup alebo aj rucne dole v tasks, poklikas na backup a uvidis log daneho tasku. Niekolko dni dozadu