Так ли плох dmraid ?

Dmitriy Orlov написал(а) к All в Aug 21 15:13:56 по местному времени:

Привет All!

В инете все пишут что dmraid зло ужасное! Но я помню когда-то давным давно настраивал виндовый сервер еще для 1C 7.7 и поставил его подняв Raid на материнской плате.

Работал он долго и стабильно, потом уже модернизировали железо и переехали на 1С восьмерку, а этот системник списали.

Тогда я уже специально пытался его положить - отключал винты на горячую, потом снова подключал, но они ребилделись и он похал дальше пока его в конце концов не выключили навсегда.

В общем на практике ничего плохого не могу сказать про материнский рэйд, но в инете его матерят чуть ли не на каждом форуме.

У кого нибудь были траблы с этими рэйдами? Но только не по рассказам, а на личном опыте?

Пока.
Dmitriy
--- Merisel packet v1.2

Alexey Vissarionov написал(а) к Dmitriy Orlov в Aug 21 00:15:50 по местному времени:

Доброго времени суток, Dmitriy!
14 Aug 2021 15:13:56, ты -> All:

DO> В инете все пишут что dmraid зло ужасное!

Правильно пишут.

DO> Но я помню когда-то давным давно настраивал виндовый сервер

С проприетарными драйверами? А какое отношение это имеет к эхотагу?

DO> У кого нибудь были траблы с этими рэйдами? Но только не по рассказам,
DO> а на личном опыте?

Есть опыт восстановления данных (в том числе за хорошие деньги) практически со всех типов массивов. Общие впечатления примерно такие:

1. Полноценный аппаратный RAID. Опознается по наличию поддержки RAID-5 и иногда его дальнейших модификаций - RAID-5.1 и RAID-6. Реально хорош, но если дохнет контроллер - нужно искать точно такой же (а иногда просто покупать запасной с самого начала, чтобы лежал на полочке). А так все пряники вплоть до кеша, но и ценник соответствующий.

2. Полусофтовый RAID. В реальности - просто контроллер для подключения жестких дисков, который дополнительно хранит информацию для драйвера SoftRAID. Сочетает недостатки аппаратного RAID-контроллера (привязка к оборудованию) и софтовых реализаций. Железо рекомендуется использовать в качестве обычного дискового контроллера, а массив сделать полностью софтовым (следующий пункт).

3. Классический SoftRAID. Полностью реализуется средствами эхотажного ядра, выглядит как устройства /dev/md0.../dev/md127 и программа mdadm для управления оными. Абсолютно неубиваемая штука, поддерживает размещение корня на зеркале (RAID-1) из любого количества дисков, при использовании syslinux (extlinux) поддерживает fallback загрузки, если /dev/sda внезапно сдох (это, разумеется, требует настройки, но ничего сложного в ней нет). Иногда называется MD RAID (соответствующие параметры конфигурации ядра называются CONFIGMDRAID*). Не следует путать с DM RAID (следующий пункт). Рекомендуется для промышленной эксплуатации на компутерах, не оснащенных аппаратными RAID-контроллерами.

4. DM RAID. Реализован поверх Device Mapper (ядерный параметр CONFIGDM_RAID), поэтому наследует все его недостатки, включая плавающий баг в арифметике (при определенных условиях неправильно вычисляется адрес блока на физическом диске). Использование для чего-то кроме CONFIG_DMMIRROR (RAID-1 через Device Mapper) может привести (и время от времени приводит) к повреждению данных. Не следует путать с предыдущим пунктом. Для промышленной эксплуатации не рекомендуется. Если угораздило вляпаться (например, сервер достался по наследству от прошлого админа) - следует обязательно организовать резервное копирование на нормальное хранилище.

5. LVM. Строго говоря, массивом не является, но разработчики этой технологии (RedНat) настолько активно ее продвигают, что я уже видел админов, которые не могли примонтировать к серверу LUN на СХД без создания для него volume group. Реализовано поверх Device Mapper (см. предыдущий пункт), полностью наследует баги оного и добавляет некоторое количество своих, не менее фееричных. Для промышленной эксплуатации не рекомендуется, резервное копирование является обязательным, чужие утверждения "у меня все работает" дополняем словом "пока".


--
Alexey V. Vissarionov aka Gremlin from Kremlin
gremlin ПРИ gremlin ТЧК ru; +vii-cmiii-ccxxix-lxxix-xlii

... Связь - как воздух: пока кто-то не испортит, никто не замечает
--- /bin/vi

Dmitry Protasoff написал(а) к Dmitriy Orlov в Aug 21 16:37:22 по местному времени:

Нello, Dmitriy!

Saturday August 14 2021 15:13, you wrote to All:

DO> У кого нибудь были траблы с этими рэйдами? Но только не по рассказам,
DO> а на личном опыте?

Опыт сугубо отрицательный.

В 2021 году стоит присматриваться к ZFS, а не к маретинговым уловкам производителей материнских плат.


Best regards,
dp.

--- GoldED+/W64-MSVC 1.1.5-b20180707

Eugene Grosbein написал(а) к Alexey Vissarionov в Aug 21 15:15:30 по местному времени:

17 авг. 2021, вторник, в 00:15 NOVT, Alexey Vissarionov написал(а):

DO>> В инете все пишут что dmraid зло ужасное!
AV> Правильно пишут.
DO>> Но я помню когда-то давным давно настраивал виндовый сервер
AV> С проприетарными драйверами? А какое отношение это имеет к эхотагу?
DO>> У кого нибудь были траблы с этими рэйдами? Но только не по рассказам,
DO>> а на личном опыте?
AV> Есть опыт восстановления данных (в том числе за хорошие деньги) практически со
AV> всех типов массивов. Общие впечатления примерно такие:
AV> 1. Полноценный аппаратный RAID.
AV> 2. Полусофтовый RAID.
AV> 3. Классический SoftRAID.
AV> 4. DM RAID. Реализован поверх Device Mapper (ядерный параметр CONFIGDMRAID)
AV> 5. LVM. Реализовано поверх Device Mapper (см. предыдущий пункт)

На самом деле ответ на первоначальный запрос в квоте
зависит в основном от количества багов в реализациях,
остальное мелочи жизни.

У полноценного аппаратного рейда недостатки являются продолжением
его основного достоинства: он работает независимо от операционной
системы за счет собственного специализированного процессора
со своей оперативной и даже энергонезависимой памятью (акуумулятор),
высвобождая ресурсы системы и её администратора.

Это же и минус: со временем аппаратные ресурсы систем растут -
мощность CPU, объёмы памяти под кеши, скорости шин и дисков,
квалификация админа и аппаратный контроллер может стать
ограничением сам по себе, плюс он вмешивается в доступность
S.M.A.R.T. и т.д.

Для зеркала разница между "полусофтовым" и "полностью софтовым"
рейдом заключается только в моменте загрузки:
BIOS полусофтового рейда (НostRAID) умеет находить в конце дисков
параметры тома и обеспечивать загрузку операционки с тома
даже при сбоях на одном из компонентов зеркала. После того как
стартовало ядро OS, дальше уже драйвер рейда в любом случае работает
с дисками только самостоятельно, без обращений к BIOS,
полностью одинаково в случае полностью софтового или полусофтового рейда.

И тут нет никакой привязки к оборудованию, на практике абсолютно
ничего не мешает создать на дисках метки зеркала полусофтового рейда
любого типа даже на материнке вообще без какого-либо НostRAID,
что я неоднократно успешно делал. Например, существует такой
Promise НostRAID с форматом метаданных, поддерживающим несколько
томов на массив: можно взять два диска (или SSD), выделить
первые N гигабайт под зеркальный том в массиве, а на остатке
дисков создать либо один том RAID0, либо два тома SINGLE
и отдать их операционке, скажем, под ZFS mirror, или под что угодно.

Преимущество такого подхода в том, что по-блочное зеркало
начала дисков гарантирует зеркалирование таблиц разбиения
и начальных загрузчиков, при этом размер самого зеркала может
быть очень небольшим, так что оно быстро синхронизируется.

Плюс снимается ограничение 2TB для MBR: в массив можно
ставить диски по 3TB или больше, зеркальный том 10GB
размечается в MBR и любой BIOS (даже без поддержки НostRAID)
успешно загрузит OS, которая расположена в пределах
первых 10GB. Всё остальное пространство управляется самой
операционной системой на основе двух томов типа SINGLE
или одного тома RAID0 или ещё как угодно. При замене
диска в массиве происходит быстрая синхронизация зеркала,
не нужно ничего переразбивать и переустанавливать загрузчики,
их по-блочно копирует драйвер рейда.

Файловые системы с основной части дисков при этом
никто не мешает монтировать как /usr или /home или ещё как.

А если массив псевдо-рейда не загрузочный, то на нём
можно и RAID5 держать без поддержки в BIOS, и что хочешь.

Eugene
--- slrn/1.0.3 (FreeBSD)