Adaptec 2405

Viktor V. Kudlak написал(а) к Sergey Anohin в Aug 19 14:32:36 по местному времени:

Нello Sergey.

04 Aug 19 11:43, you wrote to me:

SA>>> Работал-работал сабж, потом глюкануло и некоторые директории
SA>>> побились. Есть ли смысл от НWR в 2019 году?
VV>> А каким образом логика и физика связаны?

SA> ценой аренды сервера, с НWR подороже будет и считается понадежнее имхо

см. соседний коммент. вопрос в том. что надо понять что произошло и тогда всё будет работать. тут ни софт ни хард рейд ни причем. у меня и на софт-рейде подобные казусы попадались. правильно разобрать ситуацию, понять кто папа и будет счастье.
классический сплит-брейн, скорей всего произошел. и софт или хард рейд -- без разницы.

Viktor

--- GoldED+/LNX 1.1.5-b20110818

Eugene Grosbein написал(а) к Viktor V. Kudlak в Aug 19 16:34:51 по местному времени:

04 авг. 2019, воскресенье, в 14:30 NOVT, Viktor V. Kudlak написал(а):

SA>>>> Работал-работал сабж, потом глюкануло и некоторые директории
SA>>>> побились. Есть ли смысл от НWR в 2019 году?
VVKV>> > А каким образом логика и физика связаны?
EG>> Самым прямым - если физика ненадёжна, то логика легко может быть
EG>> порушена. Современный тренд - отказываться от предположения о
EG>> надежности физики.
VVK> все перации на дисковой системе транзакционные и отмечаются в журнале..
VVK> если это зеркало - выводишь из боя один из дисков и снимаешь со второго диска
VVK> видимо у тебя рейд порушился и после резета не понял ху из старший
VVK> главное не писать после этого на диск, один из дисков консистентный и без
VVK> ошибок.

В нормальных рейдах не может случиться неоднозначности в таком случае,
это элементарно исключается алгоритмически. Если такие неоднозначности
таки случаются - это баги и надо либо их фиксить, либо выкидывать
такой "рейд".

Во фрёвом софтовом рейде за это отвечает generation id
в метаданных тома на каждом из компонентов-дисков.

Eugene
--- slrn/1.0.3 (FreeBSD)

Victor Sudakov написал(а) к eugen в Aug 19 00:22:08 по местному времени:

Dear eugen,

09 Aug 19 16:34, Eugene Grosbein wrote to Viktor V. Kudlak:

[dd]
EG> Во фрёвом софтовом рейде за это отвечает generation id
EG> в метаданных тома на каждом из компонентов-дисков.

В котором из?

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20160322-b20160322

Eugene Grosbein написал(а) к Victor Sudakov в Aug 19 03:03:24 по местному времени:

10 авг. 2019, суббота, в 00:22 NOVT, Victor Sudakov написал(а):

VS> [dd]
EG>> Во фрёвом софтовом рейде за это отвечает generation id
EG>> в метаданных тома на каждом из компонентов-дисков.
VS> В котором из?

В gmirror, я когда-то упоминал тебе про это в ru.unix.bsd,
в хранящейся на диске метке (struct gmirrormetadata)
есть 32-битное инкреметируемое поле md_genid. Если зеркало
по любой причине разваливается и какая-то его часть
подключается без другой на запись, то потом зеркало
автоматом не будет уже подключать другую компоненту
без пересинхронизации.

Eugene
--- slrn/1.0.3 (FreeBSD)

Viktor V. Kudlak написал(а) к Eugene Grosbein в Aug 19 23:13:28 по местному времени:

Нello Eugene.

09 Aug 19 16:34, you wrote to me:

SA>>>>> Работал-работал сабж, потом глюкануло и некоторые директории
SA>>>>> побились. Есть ли смысл от НWR в 2019 году?
VVKV>>> > А каким образом логика и физика связаны?
EG>>> Самым прямым - если физика ненадёжна, то логика легко может быть
EG>>> порушена. Современный тренд - отказываться от предположения о
EG>>> надежности физики.
VVK>> все перации на дисковой системе транзакционные и отмечаются в
VVK>> журнале.. если это зеркало - выводишь из боя один из дисков и
VVK>> снимаешь со второго диска видимо у тебя рейд порушился и после
VVK>> резета не понял ху из старший главное не писать после этого на
VVK>> диск, один из дисков консистентный и без ошибок.

EG> В нормальных рейдах не может случиться неоднозначности в таком случае,
EG> это элементарно исключается алгоритмически. Если такие неоднозначности
EG> таки случаются - это баги и надо либо их фиксить, либо выкидывать
EG> такой "рейд".

EG> Во фрёвом софтовом рейде за это отвечает generation id
EG> в метаданных тома на каждом из компонентов-дисков.

Всё оно так, всё оно верно. но ни один программный код не идеален и для компенсации производительности часто используются хаки. на таких скоростях, как работают рейды современные, если система будет дожидаться окончания действия, то деградация производительности будет колоссальной. поэтому даже такие надёжные системы как рейды работают в асинхронном режиме. есть небольшие временные промежутки, на которых идёт синронизация и сброс буферов, и есть вероятность, что именно в этот момент что-то может произойти. результат - либо подвисание системы с её NUMA и уходом в софт-стук, либо рассинхронизация дисков, либо еще куча любопытных багов, с которыми огромные компании просто не в силах справиться с их огромными бюджетами на отладку и разработку софта (например тот же Adaptec, или 3ware, или куча еще других компаний, которых к тому же поглатили друг друга. но это уже из другой оперы). в общем, есть решения по отключению дисковых кэшей и тому подобные хаки. но, всё оно приводит к тому анекдоту про многозадачность windows, где сынишка спрашивает отца. как там был ответ?.. "ща дискетку отформатирую и расскажу"


Viktor

--- GoldED+/LNX 1.1.5-b20110818

Eugene Grosbein написал(а) к Viktor V. Kudlak в Aug 19 15:17:46 по местному времени:

13 авг. 2019, вторник, в 23:13 NOVT, Viktor V. Kudlak написал(а):

VVKV> Всё оно так, всё оно верно. но ни один программный код не идеален и для
VVKV> компенсации производительности часто используются хаки. на таких скоростях, как
VVKV> работают рейды современные, если система будет дожидаться окончания действия, то
VVKV> деградация производительности будет колоссальной.

Чушь это всё, для по-блочного зеркала нет никаких проблем алгоритмизировать
производительное и корректное решение.

Eugene
--
Прекрасны тонко отшлифованная драгоценность; победитель, раненный в бою;
слон во время течки; река, высыхающая зимой; луна на исходе; юная женщина,
изнуренная наслаждением, и даятель, отдавший все нищим. (Дхарма)
--- slrn/1.0.3 (FreeBSD)

Viktor V. Kudlak написал(а) к Eugene Grosbein в Aug 19 13:41:30 по местному времени:

Нello Eugene.

14 Aug 19 15:17, you wrote to me:

EG> 13 авг. 2019, вторник, в 23:13 NOVT, Viktor V. Kudlak написал(а):

VVKV>> Всё оно так, всё оно верно. но ни один программный код не
VVKV>> идеален и для компенсации производительности часто используются
VVKV>> хаки. на таких скоростях, как работают рейды современные, если
VVKV>> система будет дожидаться окончания действия, то деградация
VVKV>> производительности будет колоссальной.

EG> Чушь это всё, для по-блочного зеркала нет никаких проблем
EG> алгоритмизировать производительное и корректное решение.

Спустимся на протокол скази и вероятность ошибки?..
окей. где хранится информация о том, какая копия самая актуальная (каунтер операций) (логический уровень томов)
по средствам чего он там фиксируется?
как часто обновляется?
сколько операций требуется для его обновления и есть ли транзакционность в операциях? как в СУБД например. ACID, всё, либо ничего...
на сколько мне память не изменяет -- нет там транзакционности... и как следствие - есть вероятность отказа. да, ничтожна, т.к. операции достаточно надёжны.. но на моей практике тоже бывали случаи... долго разбирались почему... один диск ушел в юстировку температурную, другой отказал, рейд в растерянности ушел в ожидание, прилетел скачок питания, диск из кешей в этот момент записал часть информации и вот тебе подобная ошибка...

еще скажи, что бред ошибок процессора. он же только два+два складывает и пять никогда не выдаст. ох.. сколько там допущений, лишь бы на нужную скорость выйти...



Viktor

--- GoldED+/LNX 1.1.5-b20110818

Eugene Grosbein написал(а) к Viktor V. Kudlak в Aug 19 00:26:15 по местному времени:

14 авг. 2019, среда, в 13:41 NOVT, Viktor V. Kudlak написал(а):

EG>> Чушь это всё, для по-блочного зеркала нет никаких проблем
EG>> алгоритмизировать производительное и корректное решение.
VVKV> Спустимся на протокол скази и вероятность ошибки?..

А причем тут протокол SCSI? Я говорю сейчас про опенсорс софтовые рейды
и о том, что их алгоритмы известны и не допускают таких косяков.

А раз такие алгоритмы есть в природе, вопрос квалификации программистов
применить их без ошибок в "аппаратном" рейд-контроллере.

Eugene
--- slrn/1.0.3 (FreeBSD)

Viktor V. Kudlak написал(а) к Eugene Grosbein в Aug 19 20:56:08 по местному времени:

Нello Eugene.

15 Aug 19 00:26, you wrote to me:

EG> 14 авг. 2019, среда, в 13:41 NOVT, Viktor V. Kudlak написал(а):

EG>>> Чушь это всё, для по-блочного зеркала нет никаких проблем
EG>>> алгоритмизировать производительное и корректное решение.
VVKV>> Спустимся на протокол скази и вероятность ошибки?..

EG> А причем тут протокол SCSI? Я говорю сейчас про опенсорс софтовые
EG> рейды и о том, что их алгоритмы известны и не допускают таких косяков.

EG> А раз такие алгоритмы есть в природе, вопрос квалификации
EG> программистов применить их без ошибок в "аппаратном" рейд-контроллере.

хаха.. вот тебе ответ и на софт рейд.
развалился из-за того, что был дребезг контактов SATA. сам, правда, дурак, что доверился 5ке.. но молод был, зелен..
см. статью на хабре

https://habr.com/ru/post/128429/

Viktor

--- GoldED+/LNX 1.1.5-b20110818

Eugene Grosbein написал(а) к Viktor V. Kudlak в Aug 19 02:07:22 по местному времени:

14 авг. 2019, среда, в 20:56 NOVT, Viktor V. Kudlak написал(а):

EG>>>> Чушь это всё, для по-блочного зеркала нет никаких проблем
EG>>>> алгоритмизировать производительное и корректное решение.
VVKV>> > Спустимся на протокол скази и вероятность ошибки?..
EG>> А причем тут протокол SCSI? Я говорю сейчас про опенсорс софтовые
EG>> рейды и о том, что их алгоритмы известны и не допускают таких косяков.
EG>> А раз такие алгоритмы есть в природе, вопрос квалификации
EG>> программистов применить их без ошибок в "аппаратном" рейд-контроллере.
VVKV> хаха.. вот тебе ответ и на софт рейд.
VVKV> развалился из-за того, что был дребезг контактов SATA. сам, правда, дурак, что
VVKV> доверился 5ке.. но молод был, зелен..
VVKV> см. статью на хабре

Эмм, чувак - а чо ты хотел? Без бекапов и с отказом двух дисков
в RAID5 - чуда ждал, что ли?

Eugene
--
И знатную леди от Джуди О'Греди
Не сможет никто отличить.
--- slrn/1.0.3 (FreeBSD)