raid 6 сохранить

Valera Kolesnik написал(а) к All в Dec 17 23:39:24 по местному времени:

Нello everybody.

жил-был raid 6. проблем не создавал. отнял один диск и добавил вместо него другой (побольше).
процесс перестройки пошёл и дошёл до где-то 7-8%. после чего появились ошибки контроллёра в сислоге и процесс стал.

теперь при старте системы массив собирается как
mdadm --detail /dev/md127
/dev/md127:
Version : 1.2
Raid Level : raid0
Total Devices : 5
Persistence : Superblock is persistent

State : inactive

Name : vision:0 (local to host vision)
UUID : 4eab7c9d:75996247:fc6cdd24:15002f0b
Events : 189186

Number Major Minor RaidDevice

- 8 64 - /dev/sde
- 8 32 - /dev/sdc
- 8 112 - /dev/sdh
- 8 48 - /dev/sdd
- 8 96 - /dev/sdg

cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
md127 : inactive sde[5](S) sdg[4](S) sdh[6](S) sdc[0](S) sdd[7](S)
20511189560 blocks super 1.2

unused devices: <none>



--examine же при этом же выдаёт:

* /dev/sdc:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : 4eab7c9d:75996247:fc6cdd24:15002f0b
Name : vision:0 (local to host vision)
Creation Time : Mon Feb 1 10:20:56 2016
Raid Level : raid6
Raid Devices : 5

Avail Dev Size : 5860271024 (2794.39 GiB 3000.46 GB)
Array Size : 8790405120 (8383.18 GiB 9001.37 GB)
Used Dev Size : 5860270080 (2794.39 GiB 3000.46 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262056 sectors, after=944 sectors
State : clean
Device UUID : 41ce7046:7ebdceea:65d19621:f1ca61e4

Internal Bitmap : 8 sectors from superblock
Update Time : Sat Dec 2 03:06:16 2017
Bad Block Log : 512 entries available at offset 72 sectors
Checksum : 11fe1830 - correct
Events : 191432

Layout : left-symmetric
Chunk Size : 512K

Device Role : Active device 0
Array State : A.... ('A' == active, '.' == missing, 'R' == replacing)

* /dev/sdd:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x9
Array UUID : 4eab7c9d:75996247:fc6cdd24:15002f0b
Name : vision:0 (local to host vision)
Creation Time : Mon Feb 1 10:20:56 2016
Raid Level : raid6
Raid Devices : 5

Avail Dev Size : 9767279024 (4657.40 GiB 5000.85 GB)
Array Size : 8790405120 (8383.18 GiB 9001.37 GB)
Used Dev Size : 5860270080 (2794.39 GiB 3000.46 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262056 sectors, after=3907008944 sectors
State : clean
Device UUID : 886a5eec:9e849621:21abfb4e:a369cd89

Internal Bitmap : 8 sectors from superblock
Update Time : Sat Dec 2 03:06:16 2017
Bad Block Log : 512 entries available at offset 72 sectors - bad blocks present.
Checksum : aa642a14 - correct
Events : 191432

Layout : left-symmetric
Chunk Size : 512K

Device Role : spare
Array State : A.... ('A' == active, '.' == missing, 'R' == replacing)

* /dev/sde:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : 4eab7c9d:75996247:fc6cdd24:15002f0b
Name : vision:0 (local to host vision)
Creation Time : Mon Feb 1 10:20:56 2016
Raid Level : raid6
Raid Devices : 5

Avail Dev Size : 9767279024 (4657.40 GiB 5000.85 GB)
Array Size : 8790405120 (8383.18 GiB 9001.37 GB)
Used Dev Size : 5860270080 (2794.39 GiB 3000.46 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262056 sectors, after=3907008944 sectors
State : clean
Device UUID : 115d79b4:69962035:97d4e787:9111f3d9

Internal Bitmap : 8 sectors from superblock
Update Time : Sat Dec 2 02:53:46 2017
Bad Block Log : 512 entries available at offset 72 sectors
Checksum : f1ff417 - correct
Events : 189186

Layout : left-symmetric
Chunk Size : 512K

Device Role : Active device 3
Array State : AAAAA ('A' == active, '.' == missing, 'R' == replacing)

* /dev/sdg:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : 4eab7c9d:75996247:fc6cdd24:15002f0b
Name : vision:0 (local to host vision)
Creation Time : Mon Feb 1 10:20:56 2016
Raid Level : raid6
Raid Devices : 5

Avail Dev Size : 9767279024 (4657.40 GiB 5000.85 GB)
Array Size : 8790405120 (8383.18 GiB 9001.37 GB)
Used Dev Size : 5860270080 (2794.39 GiB 3000.46 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262056 sectors, after=3907008944 sectors
State : clean
Device UUID : 488e865c:38b2a55d:98af3012:b923d816

Internal Bitmap : 8 sectors from superblock
Update Time : Sat Dec 2 02:53:46 2017
Bad Block Log : 512 entries available at offset 72 sectors
Checksum : a6e02e43 - correct
Events : 189186

Layout : left-symmetric
Chunk Size : 512K

Device Role : Active device 2
Array State : AAAAA ('A' == active, '.' == missing, 'R' == replacing)

* /dev/sdh:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : 4eab7c9d:75996247:fc6cdd24:15002f0b
Name : vision:0 (local to host vision)
Creation Time : Mon Feb 1 10:20:56 2016
Raid Level : raid6
Raid Devices : 5

Avail Dev Size : 5860271024 (2794.39 GiB 3000.46 GB)
Array Size : 8790405120 (8383.18 GiB 9001.37 GB)
Used Dev Size : 5860270080 (2794.39 GiB 3000.46 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262056 sectors, after=944 sectors
State : clean
Device UUID : 9e72158d:5129c8d1:50a2f7a5:0e8b8ed1

Internal Bitmap : 8 sectors from superblock
Update Time : Sat Dec 2 02:53:46 2017
Bad Block Log : 512 entries available at offset 72 sectors
Checksum : b12eadc2 - correct
Events : 189186

Layout : left-symmetric
Chunk Size : 512K

Device Role : Active device 4
Array State : AAAAA ('A' == active, '.' == missing, 'R' == replacing)


вопрос как сохранить информацию?

вариант 1
mdadm --assemble --force /dev/md127 /dev/sdc /dev/sdd /dev/sde /dev/sdg /dev/sdh
собрать raid со всеми дисками в надежде, что mdadm разберётся, почему у двух дисков Events больше чем у других, один из которых новый неоперённый и с ошибками в логе, и продолжит начатое

вариант 2
mdadm --assemble --force /dev/md127 /dev/sdc /dev/sde /dev/sdg /dev/sdh
собрать raid без добавленного диска, надеясь что mdadm использует сохранённые проценты на /dev/sdc и достроит недостающие на нём

вариант 3
mdadm --assemble --force /dev/md127 /dev/sde /dev/sdg /dev/sdh
собрать raid без двух дисков с отличающимися Events. потом либо добавлять эти два либо вытаскивать инфу и продолжать исцеление raid.
вроде должно работать, но это ставит raid в очень уязвимую кофигурацию

вариант 4
иные способы, более правильные и безопасные.


проблем с рейдом до этого происшествия не имел, посему опыт сохраниения отсутствует и не хочется потерять информацию из-за неправильных действий

Valera

--- GoldED+/W32 1.1.5-040120

Alexey Vissarionov написал(а) к Valera Kolesnik в Dec 17 15:03:00 по местному времени:

Доброго времени суток, Valera!
07 Dec 2017 23:39:24, ты -> All:

VK> жил-был raid 6. проблем не создавал. отнял один диск и добавил вместо
VK> него другой (побольше). процесс перестройки пошёл и дошёл до где-то
VK> 7-8%. после чего появились ошибки контроллёра в сислоге и процесс
VK> стал. теперь при старте системы массив собирается как
VK> mdadm --detail /dev/md127
VK> /dev/md127:

Почему 127?

VK> Raid Level : raid0

Оп-па...

VK> cat /proc/mdstat
VK> md127 : inactive sde[5](S) sdg[4](S) sdh[6](S) sdc[0](S) sdd[7](S)
VK> 20511189560 blocks super 1.2
VK> unused devices: <none>

Кого и, главное, какого хрена угораздило собрать массив из дисков, а не из разделов 0xFD на оных?

VK> вопрос как сохранить информацию?
VK> вариант 1
VK> mdadm --assemble --force /dev/md127 /dev/sdc /dev/sdd /dev/sde
VK> /dev/sdg /dev/sdh собрать raid со всеми дисками в надежде, что
VK> mdadm разберётся

Хороший вариант, но:
0. обязательно указать --readonly --assume-clean --freeze-reshape
1. вместо --force лучше использовать --run

VK> вариант 2
VK> mdadm --assemble --force /dev/md127 /dev/sdc /dev/sde /dev/sdg
VK> /dev/sdh собрать raid без добавленного диска, надеясь что mdadm
VK> использует сохранённые проценты на /dev/sdc и достроит недостающие
VK> на нём

Аналогично. Если не получится запустить первым способом - это следующий. Использование бесперебойника начиная с этого способа становится обязательным.

VK> вариант 3
VK> mdadm --assemble --force /dev/md127 /dev/sde /dev/sdg /dev/sdh
VK> собрать raid без двух дисков с отличающимися Events. потом либо
VK> добавлять эти два либо вытаскивать инфу и продолжать исцеление
VK> raid.

И добавлять (по одному), и вытаскивать.
Если есть возможность, предварительно сделай посекторные копии этих дисков.

VK> вроде должно работать, но это ставит raid в очень уязвимую
VK> кофигурацию

Ага. Именно поэтому я и рекомендую сделать копию.

VK> вариант 4
VK> иные способы, более правильные и безопасные.

Увы - следующие варианты включают в себя пляски с mdadm.conf :-/

VK> проблем с рейдом до этого происшествия не имел, посему опыт
VK> сохраниения отсутствует и не хочется потерять информацию из-за
VK> неправильных действий

В данный момент я вижу у тебя ровно одно неправильное действие. А точнее - бездействие, результатом которого является отсутствие резервной копии.


--
Alexey V. Vissarionov aka Gremlin from Kremlin
gremlin ПРИ gremlin ТЧК ru; +vii-cmiii-ccxxix-lxxix-xlii

... Разверни часы с кукушкой циферблатом к стене - и получи часы с дятлом!
--- /bin/vi

Valera Kolesnik написал(а) к Alexey Vissarionov в Dec 17 19:56:48 по местному времени:

Нello Alexey.

08 Dec 17 15:03, you wrote to me:

VK>> стал. теперь при старте системы массив собирается как
VK>> mdadm --detail /dev/md127
VK>> /dev/md127:

AV> Почему 127?

он сам так называется при старте системы. не мой выбор


VK>> Raid Level : raid0

AV> Оп-па...

я так понимаю, он на него скатывается при неудаче сборки. поэтому и цель объяснить, что это шестой

VK>> cat /proc/mdstat
VK>> md127 : inactive sde[5](S) sdg[4](S) sdh[6](S) sdc[0](S) sdd[7](S)
VK>> 20511189560 blocks super 1.2
VK>> unused devices: <none>

AV> Кого и, главное, какого хрена угораздило собрать массив из дисков, а не из разделов 0xFD на оных?

"Neil, the md/mdadm author, uses whole disks." :-)

а какие преимущества сулит дополнительный уровень сложности с mbr/gpt?


VK>> вопрос как сохранить информацию?
VK>> вариант 1
VK>> mdadm --assemble --force /dev/md127 /dev/sdc /dev/sdd /dev/sde
VK>> /dev/sdg /dev/sdh собрать raid со всеми дисками в надежде, что
VK>> mdadm разберётся

AV> Хороший вариант, но:
AV> 0. обязательно указать --readonly --assume-clean --freeze-reshape
AV> 1. вместо --force лучше использовать --run

vision ~ # mdadm --assemble --readonly --assume-clean --freeze-reshape /dev/md127 /dev/sde /dev/sdc /dev/sdh /dev/sdd /dev/sdg -vv
mdadm: :option --assume-clean not valid in assemble mode
vision ~ # mdadm --assemble --readonly --run --freeze-reshape /dev/md127 /dev/sde /dev/sdc /dev/sdh /dev/sdd /dev/sdg -vv
mdadm: looking for devices for /dev/md127
mdadm: /dev/sde is identified as a member of /dev/md127, slot 3.
mdadm: /dev/sdc is identified as a member of /dev/md127, slot 0.
mdadm: /dev/sdh is identified as a member of /dev/md127, slot 4.
mdadm: /dev/sdd is identified as a member of /dev/md127, slot -1.
mdadm: /dev/sdg is identified as a member of /dev/md127, slot 2.
mdadm: no uptodate device for slot 1 of /dev/md127
mdadm: added /dev/sdg to /dev/md127 as 2 (possibly out of date)
mdadm: added /dev/sde to /dev/md127 as 3 (possibly out of date)
mdadm: added /dev/sdh to /dev/md127 as 4 (possibly out of date)
mdadm: added /dev/sdd to /dev/md127 as -1
mdadm: added /dev/sdc to /dev/md127 as 0
mdadm: failed to RUN_ARRAY /dev/md127: Input/output error
mdadm: Not enough devices to start the array.
vision ~ # mdadm --stop /dev/md0
mdadm: stopped /dev/md0


VK>> вариант 2
VK>> mdadm --assemble --force /dev/md127 /dev/sdc /dev/sde /dev/sdg
VK>> /dev/sdh собрать raid без добавленного диска, надеясь что mdadm
VK>> использует сохранённые проценты на /dev/sdc и достроит недостающие
VK>> на нём

AV> Аналогично. Если не получится запустить первым способом - это следующий. Использование
AV> бесперебойника начиная с этого способа становится обязательным.

без /dev/sdd
vision ~ # mdadm --assemble --readonly --run --freeze-reshape /dev/md127 /dev/sde /dev/sdc /dev/sdh /dev/sdg -vv
mdadm: looking for devices for /dev/md127
mdadm: /dev/sde is identified as a member of /dev/md127, slot 3.
mdadm: /dev/sdc is identified as a member of /dev/md127, slot 0.
mdadm: /dev/sdh is identified as a member of /dev/md127, slot 4.
mdadm: /dev/sdg is identified as a member of /dev/md127, slot 2.
mdadm: no uptodate device for slot 1 of /dev/md127
mdadm: added /dev/sdg to /dev/md127 as 2 (possibly out of date)
mdadm: added /dev/sde to /dev/md127 as 3 (possibly out of date)
mdadm: added /dev/sdh to /dev/md127 as 4 (possibly out of date)
mdadm: added /dev/sdc to /dev/md127 as 0
mdadm: failed to RUN_ARRAY /dev/md127: Input/output error
mdadm: Not enough devices to start the array.
vision ~ # mdadm --stop /dev/md0
mdadm: stopped /dev/md0

машина под бесперебойником всё время

как и ожидал, Events сбивает с толку mdadm и он не понимает, на чём всё остановилось


VK>> вариант 3
VK>> mdadm --assemble --force /dev/md127 /dev/sde /dev/sdg /dev/sdh
VK>> собрать raid без двух дисков с отличающимися Events. потом либо
VK>> добавлять эти два либо вытаскивать инфу и продолжать исцеление
VK>> raid.

AV> И добавлять (по одному), и вытаскивать.

похоже вынуждают прибегнуть к самому опасному варианту. чего хотелось бы избежать. может ещё какие варианты?


AV> Если есть возможность, предварительно сделай посекторные копии этих дисков.

3TB * 5 дисков. ну ладно один, вытащенный уже есть, но всё равно трудновато...


VK>> вариант 4
VK>> иные способы, более правильные и безопасные.

AV> Увы - следующие варианты включают в себя пляски с mdadm.conf :-/

нехорошая информация :-(


VK>> проблем с рейдом до этого происшествия не имел, посему опыт
VK>> сохраниения отсутствует и не хочется потерять информацию из-за
VK>> неправильных действий

AV> В данный момент я вижу у тебя ровно одно неправильное действие. А точнее - бездействие, результатом
AV> которого является отсутствие резервной копии.

она как бы есть, но сделанная давно (при самом первом изменении raid-а). там 5GB данных. а в массиве что-то между 7 и 8



Valera

--- GoldED+/W32 1.1.5-040120