Снапшоты

Michael Dukelsky написал(а) к All в May 24 09:24:30 по местному времени:

Привет, All!

Хотелось использовать снапшоты на рутовом разделе на RAID1 для резервного копирования со снапшота. Потестировал btrfs. Тестирование закончилось крэшем, после которого восстановление из снапшота было невозможно.

Теперь вопрос про LVM. Насколько надёжна конфигурация RAID1 (два диска) поверх LVM поверх dm-integrity. Ничего от LVM кроме dm-integrity и снапшотов не нужно.

Желаю успехов, All!
За сим откланиваюсь, Michael.

... node (at) f1042 (dot) ru
--- GoldED+/LNX 1.1.5-b20240309

Dmitry Protasoff написал(а) к Michael Dukelsky в May 24 08:27:45 по местному времени:

Нello, Michael!

Tuesday May 21 2024 09:24, you wrote to All:

MD> закончилось крэшем, после которого восстановление из снапшота было
MD> невозможно.

Как ты этого добился? Для RAID1 средствами btrfs - это очень устойчивая конфигурация, у меня с десяток серверов живу на btrfs.


Best regards,
dp.

--- GoldED+/LNX 1.1.5-b20230304

Sergey Anohin написал(а) к Michael Dukelsky в May 24 12:37:41 по местному времени:

Нello, Michael!

MD> Теперь вопрос про LVM. Насколько надёжна конфигурация RAID1 (два диска) поверх LVM поверх dm-integrity. Ничего от LVM кроме dm-integrity и снапшотов не нужно.

Работает, но если развалится чинить говорят трудно, сам не чинил. А чего ZOL не хочешь попробовать? Там повеселее чем brtfs,
правда рамы надо много и ECC бы крайне надо и nvme под L2 кеш, оверхед?

С наилучшими пожеланиями, Sergey Anohin.

--- wfido

Alexey Vissarionov написал(а) к Michael Dukelsky в May 24 16:17:20 по местному времени:

Доброго времени суток, Michael!
21 May 2024 09:24:30, ты -> All:

MD> Хотелось использовать снапшоты на рутовом разделе на RAID1 для
MD> резервного копирования со снапшота. Потестировал btrfs. Тестирование
MD> закончилось крэшем, после которого восстановление из снапшота было
MD> невозможно.

Вполне закономерно.

MD> Теперь вопрос про LVM. Насколько надёжна конфигурация RAID1
MD> (два диска) поверх LVM поверх dm-integrity. Ничего от LVM кроме
MD> dm-integrity и снапшотов не нужно.

Еще хуже.


З.Ы. (Замечу Ышо): более-менее работает оно с ZFS, но там свои чудеса, и для промышленного применения я такую конфигурацию применять все же не советую.

--
Alexey V. Vissarionov aka Gremlin from Kremlin
gremlin ПРИ gremlin ТЧК ru; +vii-cmiii-ccxxix-lxxix-xlii

... Алкоголь - средство для превращения черной тоски в белую горячку
--- /bin/vi

Dmitry Protasoff написал(а) к Sergey Anohin в May 24 13:24:10 по местному времени:

Нello, Sergey!

Tuesday May 21 2024 12:37, you wrote to Michael Dukelsky:

SA> чего ZOL не хочешь попробовать? Там повеселее чем brtfs, правда рамы
SA> надо много и ECC бы крайне надо и nvme под L2 кеш, оверхед?

ZFS на RAID1 особо ничем не лучше btrfs, а ECC вовсе не обязательна - в случае с битой памятью проблемы будут на любой FS.

Best regards,
dp.

--- GoldED+/LNX 1.1.5-b20230304

Michael Dukelsky написал(а) к Dmitry Protasoff в May 24 17:05:30 по местному времени:

Привет, Dmitry!

21 May 2024 08:27, Dmitry Protasoff послал(а) письмо к Michael Dukelsky:

MD>> закончилось крэшем, после которого восстановление из снапшота
MD>> было невозможно.
DP> Как ты этого добился? Для RAID1 средствами btrfs - это очень
DP> устойчивая конфигурация, у меня с десяток серверов живу на btrfs.

Да вроде бы ничего особенного не делал. Установил на десктоп Fedora 39 с btrfs и snapper. Снапшоты делались автоматом до и после установки обновлений и сразу после загрузки ОС. Удаление более старых снапшотов, когда их количество больше 50. Там же запускал виртуальные машины в KVM/QEMU. Это работало месяца два. Во время работы в виртуальной машине оно всё и гавкнулось. После этого оставил на ночь проверку памяти с memtest86+. Ошибок не найдено.

Желаю успехов, Dmitry!
За сим откланиваюсь, Michael.

... node (at) f1042 (dot) ru
--- GoldED+/LNX 1.1.5-b20240309

Michael Dukelsky написал(а) к Alexey Vissarionov в May 24 17:19:10 по местному времени:

Привет, Alexey!

21 May 2024 16:17, Alexey Vissarionov послал(а) письмо к Michael Dukelsky:

MD>> Хотелось использовать снапшоты на рутовом разделе на RAID1 для
MD>> резервного копирования со снапшота. Потестировал btrfs.
MD>> Тестирование закончилось крэшем, после которого восстановление из
MD>> снапшота было невозможно.

AV> Вполне закономерно.

MD>> Теперь вопрос про LVM. Насколько надёжна конфигурация RAID1
MD>> (два диска) поверх LVM поверх dm-integrity. Ничего от LVM кроме
MD>> dm-integrity и снапшотов не нужно.

AV> Еще хуже.


AV> З.Ы. (Замечу Ышо): более-менее работает оно с ZFS, но там свои чудеса,
AV> и для промышленного применения я такую конфигурацию применять все же
AV> не советую.

То есть, по-твоему, снапшоты лучше оставить в покое? А что скажешь по поводу software RAID1 over dm-integrity без LVM?

Желаю успехов, Alexey!
За сим откланиваюсь, Michael.

... node (at) f1042 (dot) ru
--- GoldED+/LNX 1.1.5-b20240309

Dmitry Protasoff написал(а) к Michael Dukelsky в May 24 14:31:44 по местному времени:

Нello, Michael!

Tuesday May 21 2024 17:05, you wrote to me:

DP>> Как ты этого добился? Для RAID1 средствами btrfs - это очень
DP>> устойчивая конфигурация, у меня с десяток серверов живу на btrfs.

MD> Да вроде бы ничего особенного не делал. Установил на десктоп Fedora 39
MD> с btrfs и snapper. Снапшоты делались автоматом до и после установки
MD> обновлений и сразу после загрузки ОС. Удаление более старых снапшотов,
MD> когда их количество больше 50. Там же запускал виртуальные машины в
MD> KVM/QEMU. Это работало месяца два. Во время работы в виртуальной
MD> машине оно всё и гавкнулось. После этого оставил на ночь проверку

А гавкнулось - это в каком виде? Как выглядело?

MD> памяти с memtest86+. Ошибок не найдено.

Последний раз у меня накрывалась btrfs на Orange PI с нестабильным питанием, когда запись на nvme прекращалась в произвольные моменты времени, но это логично, что в таком виде оно сломается.
Чтобы оно сломалось на ровном месте - это очень странно. Вот прямо сейчас использую на компьютере с Windows (!) в WSL2 BTRFS с RAID1 для 16 Tb диска с базой Clickhouse, снэпшоты тоже используются.
А так то и ZFS я битую видел (у себя в том числе)..

Best regards,
dp.

--- GoldED+/LNX 1.1.5-b20230304

Michael Dukelsky написал(а) к Dmitry Protasoff в May 24 18:26:48 по местному времени:

Привет, Dmitry!

21 May 2024 14:31, Dmitry Protasoff послал(а) письмо к Michael Dukelsky:

DP> А гавкнулось - это в каком виде? Как выглядело?

В виртуальной машине всё зависало. Увеличил число ядер на эту VM. Всё равно через некоторое время полный залип: ничего невозможно сделать. Вышел из виртуальной машины, сделал перезагрузку хоста - чёрный экран. После загрузки с Live CD обнаружил, что часть файлов на хосте исчезла. Возиться с расследованием, что и почему исчезло, не стал. Просто переставил всё уже на xfs.

DP> Последний раз у меня накрывалась btrfs на Orange PI с нестабильным
DP> питанием, когда запись на nvme прекращалась в произвольные моменты
DP> времени, но это логично, что в таком виде оно сломается. Чтобы оно
DP> сломалось на ровном месте - это очень странно. Вот прямо сейчас
DP> использую на компьютере с Windows (!) в WSL2 BTRFS с RAID1 для 16 Tb
DP> диска с базой Clickhouse, снэпшоты тоже используются.

То есть btrfs не на рутовом разделе.

DP> А так то и ZFS я битую видел (у себя в том числе)..

Это обнадёживает...

Желаю успехов, Dmitry!
За сим откланиваюсь, Michael.

... node (at) f1042 (dot) ru
--- GoldED+/LNX 1.1.5-b20240309

Dmitry Protasoff написал(а) к Michael Dukelsky в May 24 15:55:16 по местному времени:

Нello, Michael!

Tuesday May 21 2024 18:26, you wrote to me:

DP>> А гавкнулось - это в каком виде? Как выглядело?

MD> В виртуальной машине всё зависало. Увеличил число ядер на эту VM. Всё
MD> равно через некоторое время полный залип: ничего невозможно сделать.
MD> Вышел из виртуальной машины, сделал перезагрузку хоста - чёрный экран.
MD> После загрузки с Live CD обнаружил, что часть файлов на хосте исчезла.

Жалко, что нельзя понять, что исчезло..

MD> То есть btrfs не на рутовом разделе.

У btrfs с RAID1 на рутовом разделе есть главный минус - он не работает приперезагрузке при выходе из строя одного диска.
Т.е. надо руками вмешиваться.

Поэтому на руте ее держать не советую.

DP>> А так то и ZFS я битую видел (у себя в том числе)..

MD> Это обнадёживает...

Главное преимущество ZFS и BTRFS - ты всегда узнаешь, что твои данные побились.

Best regards,
dp.

--- GoldED+/LNX 1.1.5-b20230304