Этот сайт лучше всего просматривать в современном браузере с включённым JavaScript.

Ovirt iSCSI и Centos 7

qqq

Добрый день, недавно решили перейти на ISCSI за места NFS(при подключении СХД на Centos 7) и возникла такая проблема:

Развернули мы значит таргет на центосе, настроили и он даже подключился в овирту. Однако после первой перезагрузке центоса, блочное устройство а именно raid10 попросту отвалился и заново не подключается, пишет что "устройство уже используется". Начали разбираться и оказалось, что при подключении таргета к овирту, последний создал несколько LVM и они не дают подключить блочное устройство обратно к таргету.

Как решить данную проблему?

Вот настройка iSCSI и вывод lsblk до перезагрузки Centos:

/> ls o- / ..................................................................................................... o- backstores .......................................................................................... | o- block .............................................................................. | | o- ovirt-storage ............................................... | | o- alua ............................................................................... | | o- default_tg_pt_gp ................................................... | o- fileio ............................................................................. | o- pscsi .............................................................................. | o- ramdisk ............................................................................ o- iscsi ........................................................................................ | o- iqn.2018-10.data96-01.123.ru ...................................... | o- tpg1 ........................................................................... | o- acls ...................................................................................... | | o- iqn.2018-10.data96-01.123.ru ......................... | | | o- mapped_lun0 ..................................................... | | o- iqn.2018-10.node96-01.123.ru ......................... | | | o- mapped_lun0 ..................................................... | | o- iqn.2018-10.node96-02.123.ru ......................... | | | o- mapped_lun0 ..................................................... | | o- iqn.2018-10.node96-03.123.ru ......................... | | | o- mapped_lun0 ..................................................... | | o- iqn.2018-10.ovirt96.123.ru ........................... | | o- mapped_lun0 ..................................................... | o- luns ...................................................................................... | | o- lun0 .......................................... | o- portals ................................................................................ | o- 10.10.10.133 ........................................................................... o- loopback .....................................................................................

lsblk:

NAME MAJ RM SIZE RO TYPE MOUNTPOINT sda 8 0 3.7T 0 disk └─md0 9 0 18.2T 0 raid10 sdb 8 0 3.7T 0 disk └─md0 9 0 18.2T 0 raid10 sdc 8 0 3.7T 0 disk └─md0 9 0 18.2T 0 raid10 sdd 8 0 3.7T 0 disk └─md0 9 0 18.2T 0 raid10 sde 8 0 3.7T 0 disk └─md0 9 0 18.2T 0 raid10 sdf 8 0 3.7T 0 disk └─md0 9 0 18.2T 0 raid10 sdg 8 1 3.7T 0 disk └─md0 9 0 18.2T 0 raid10 sdh 8 1 3.7T 0 disk └─md0 9 0 18.2T 0 raid10 sdi 8 1 3.7T 0 disk └─md0 9 0 18.2T 0 raid10

После перезагрузки:

o- / .......................................................................................................... o- backstores ............................................................................................... | o- block ................................................................................... | o- fileio .................................................................................. | o- pscsi ................................................................................... | o- ramdisk ................................................................................. o- iscsi ............................................................................................. | o- iqn.2018-10.data96-01.123.ru ........................................... | o- tpg1 ................................................................................ | o- acls ........................................................................................... | | o- iqn.2018-10.data96-01.123.ru .............................. | | o- iqn.2018-10.node96-01.123.ru .............................. | | o- iqn.2018-10.node96-02.123.ru .............................. | | o- iqn.2018-10.node96-03.123.ru .............................. | | o- iqn.2018-10.ovirt96.123.ru ................................ | o- luns ........................................................................................... | o- portals ..................................................................................... | o- 10.10.10.133 ................................................................................ o- loopback ..........................................................................................

lsblk:

NAME MAJ RM SIZE RO TYPE MOUNTPOINT sda 8 0 3.7T 0 disk └─md0 9 0 18.2T 0 raid10 ├─eebdab0a--323b--4bf8--8185--845682fd86cf-metadata 253 0 512M 0 lvm ├─eebdab0a--323b--4bf8--8185--845682fd86cf-outbox 253 0 128M 0 lvm ├─eebdab0a--323b--4bf8--8185--845682fd86cf-xleases 253 0 1G 0 lvm ├─eebdab0a--323b--4bf8--8185--845682fd86cf-leases 253 0 2G 0 lvm ├─eebdab0a--323b--4bf8--8185--845682fd86cf-ids 253 0 128M 0 lvm ├─eebdab0a--323b--4bf8--8185--845682fd86cf-inbox 253 0 128M 0 lvm ├─eebdab0a--323b--4bf8--8185--845682fd86cf-master 253 0 1G 0 lvm ├─eebdab0a--323b--4bf8--8185--845682fd86cf-b28da8ab--f3a9--4796--a2b0--40406b69ef6f 253 0 128M 0 lvm └─eebdab0a--323b--4bf8--8185--845682fd86cf-4e30da68--0c4c--4e89--95ce--de549a1f1b88 253 0 128M 0 lvm . . .

и в каждом sd есть такие записи.

danyasny

Интересный глюк - после рестарта md0 пропал как backing store, но информация все еще на месте. я бы зарепортил в багзиллу, плюс наверное перестать использовать md.

qqq

Тут абсолютно без разницы, какой тип хранилки использовать, он в любом случае создает vlm'ы на ней. Видимо это какая-то фишка работы самого Ovirt'a, но только описания работы ISCSi я так и не нашёл. :(

danyasny

Ovirt не делает ничего такого что не делал бы обычный линукс. Он просто создает lvm на lunах которые получает

qqq

Так для чего используются данные VLM и почему из-за них блочное устройство считается "затяным", и его нельзя опубликовать?

danyasny

Перед тем как отформатировать новый LUN, овирт проверяет нет ли на нем чего либо, чтоб случайно не стереть лишнее. Если находит там LVM то сообщает об этом. Никакой магии

qqq

Для чего используются созданные Ovirt'ом LVMы, которые он делает на хранилке подключенной по ISCSI ? - 1

Почему блочное устройство(на котором создались LVMы при мервом подключении) является занятым этими же LVMами и не публикуется после перезагрузки СХД? - 2

danyasny

LVM используется для всего. овирт не использует файловые системы на блочных устройствах.

PV = LUN

VG = Storage Domain

LV = VM disk, плюс несколько LV выделяются для метадаты.