Шифрование

Eugene Grosbein написал(а) к Alex Korchmar в Mar 18 18:33:29 по местному времени:

18 марта 2018, воскресенье, в 13:55 NOVT, Alex Korchmar написал(а):

EG>> ZFS у нас в любом случае работает через GEOM: при работе "с дисками"
AK> а если я вот всю эту геом-хрень забуду собрать - оно вообще не заведется,
AK> или таки начнет работать с обычными raw-devices, как во времена 4.11?

Не "забудешь" - geomctl.c, geom_io.c, geom_kern.c, geom_dev.c, geomdisk.c
и прочие geom_event.c etc. нынче компилируются безусловно, это не опции.

Оно нынче и есть драйверы "raw-devices" - то, что создаёт и обслуживает
соответствующие файлы в /dev

Собственно, в 4.11 оно просто не называлось GEOM, а делало то же самое.

Eugene
--- slrn/1.0.2 (FreeBSD)

Slawa Olhovchenkov написал(а) к Eugene Grosbein в Mar 18 15:01:58 по местному времени:

Нello Eugene!

18 Mar 18, Eugene Grosbein writes to Slawa Olhovchenkov:

EG>>>>> Как раз наоборот - при замене диска всё отсинкается автоматом,
EG>>>>> включая таблицу разбиения и начальные загрузчики.
SO>>>> только вот для zfs режим работы не с дисками, а с graid --
SO>>>> неэффективный
EG>>> Почему это? А с разделами дисков чем эффективней?
SO>> тем, что он может отслеживать нагрузку на отдельные диски и отвал
SO>> отдельных дисков.

EG> ZFS у нас в любом случае работает через GEOM: при работе "с дисками"
EG> через GEOMDISK, при работе с разделами через GEOMPART,
EG> при работе с томами graid через GEOM_RAID.

EG> Почему через один класс GEOM он может отслеживать "нагрузку и отвал",
EG> а через другие внезапно нет, в чём разница-то между ними?

тем, что во вторум случае у тебя что-то агрегированное, из чего совершенно нельзя понять отвалился диск или нет, читают оба диска или только один, а на втрой можно и пописать.
ну и т.д.
железные raid-контроллеры туда же, если не в hba mode

SO>> ну и если у нас два диска в zmirror то у нас две очереди с двойным
SO>> (потенциально) числом запросов.
EG> Опять же не вижу разницы между "дисками" и томами.

чё? серьезно? 1x80 и 2x80 -- разницы нет? серьезно?

... и пpодал он Хpиста за тpидцать у.е. ...
--- GoldED+/BSD 1.1.5-b20110223-b20110223

Eugene Grosbein написал(а) к Slawa Olhovchenkov в Mar 18 23:06:10 по местному времени:

18 марта 2018, воскресенье, в 15:01 NOVT, Slawa Olhovchenkov написал(а):

EG>> Почему через один класс GEOM он может отслеживать "нагрузку и отвал",
EG>> а через другие внезапно нет, в чём разница-то между ними?
SO> тем, что во вторум случае у тебя что-то агрегированное, из чего совершенно
SO> нельзя понять отвалился диск или нет, читают оба диска или только один, а на
SO> втрой можно и пописать.

Ты не понял. Пул ZFS с основными данными строится поверх томов SINGLE,
а не "чего-то агрегированного". Только загрузочный пул с рутом и /usr
(без /usr/local) живёт на RAID1 - в норме нагрузка на него околонулевая.

SO> ну и т.д.

Что именно "т.д."?

Eugene
--- slrn/1.0.2 (FreeBSD)

Victor Sudakov написал(а) к Eugene Grosbein в Mar 18 09:19:14 по местному времени:

Dear Eugene,

18 Mar 18 11:23, I wrote to you:

EG>> В man zfsboot есть строчка: dd if=/boot/zfsboot of=/dev/ada0s1
EG>> count=1 На самом деле для гарантии загружаемости в этом месте
EG>> надо обязательно использовать count=2 вместо count=1, чтобы
EG>> затереть возможно имеющиеся ошметки BSD label в следующем секторе
EG>> - если они там есть, то напарываемся на мисфичу загрузчика
EG>> (которую лично я назвал бы багом), приводящую к этой проблеме.

EG>> zfsboot не знает, с которого раздела и которого диска его
EG>> стартовал boot0 и пытается обнюхать все диски и разделы в поисках
EG>> загрузочного пула ZFS, пропуская слайсы, в которых, как ему
EG>> кажется, есть BSD label.

VS> О! Я подозревал, что здесь собака зарыта.

VS>>> Я даже наверное сформулирую для начала вопрос: в ada0s2 надо
VS>>> создавать еще BSD партиции, и пул создавать в ada0s2a например?
VS>>> Или загрузочный zpool сразу делать на ada0s2?

EG>> Обязательно сразу на ada0s2 и обязательно уничтожив все следы BSD
EG>> label в нём, для чего достаточно использовать count=2.

VS> Спасибо, похоже что это и есть искомое сакральное знание. В статьях на
VS> wiki.freebsd.org везде зачем-то делают "gpart create -s BSD ad0s3" и
VS> далее "zpool create zroot /dev/ad0s3a", а в man zfsboot момент
VS> создания пула совсем не освещен.

Спасибо, без BSD label всё получилось. Вот последовательность моих действий: http://termbin.com/0dyb
(не смотри, что там vtbd, я потом получившийся образ успешно проверил в VirtualBox с "настоящим" загрузчиком).

Это что же получается, не только на вики, но и в man zfsboot ошибка? Там тоже предлагается
"gpart create -s BSD ada0s1" делать.

PR что ли написать?

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20160322-b20160322

Eugene Grosbein написал(а) к Victor Sudakov в Mar 18 11:34:19 по местному времени:

19 марта 2018, понедельник, в 09:19 NOVT, Victor Sudakov написал(а):

VS> Спасибо, без BSD label всё получилось. Вот последовательность моих действий:
VS> http://termbin.com/0dyb
VS> (не смотри, что там vtbd, я потом получившийся образ успешно проверил в
VS> VirtualBox с "настоящим" загрузчиком).
VS> Это что же получается, не только на вики, но и в man zfsboot ошибка? Там тоже
VS> предлагается
VS> "gpart create -s BSD ada0s1" делать.
VS> PR что ли написать?

А напиши. Только ссылочку мне кинь, я там коммент оставлю.

Eugene
--
Choose no career
--- slrn/1.0.2 (FreeBSD)

Victor Sudakov написал(а) к Eugene Grosbein в Mar 18 13:13:44 по местному времени:

Dear Eugene,

19 Mar 18 11:34, you wrote to me:

VS>> Спасибо, без BSD label всё получилось. Вот последовательность
VS>> моих действий:
VS>> http://termbin.com/0dyb
VS>> (не смотри, что там vtbd, я потом получившийся образ успешно
VS>> проверил в VirtualBox с "настоящим" загрузчиком). Это что же
VS>> получается, не только на вики, но и в man zfsboot ошибка? Там
VS>> тоже предлагается "gpart create -s BSD ada0s1" делать. PR что ли
VS>> написать?

EG> А напиши. Только ссылочку мне кинь, я там коммент оставлю.

https://bugs.freebsd.org/bugzilla/sh....cgi?id=226714

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20160322-b20160322

Slawa Olhovchenkov написал(а) к Eugene Grosbein в Mar 18 12:13:50 по местному времени:

Нello Eugene!

18 Mar 18, Eugene Grosbein writes to Slawa Olhovchenkov:

EG>>> Почему через один класс GEOM он может отслеживать "нагрузку и отвал",
EG>>> а через другие внезапно нет, в чём разница-то между ними?
SO>> тем, что во вторум случае у тебя что-то агрегированное, из чего
SO>> совершенно нельзя понять отвалился диск или нет, читают оба диска или
SO>> только один, а на втрой можно и пописать.

EG> Ты не понял. Пул ZFS с основными данными строится поверх томов SINGLE,

я всё понял

EG> а не "чего-то агрегированного". Только загрузочный пул с рутом и /usr
EG> (без /usr/local) живёт на RAID1 - в норме нагрузка на него
EG> околонулевая.

норма бывает разная, а ты выдаешь свой сетап за универсальный и 100% покрывающий все.
так же иногда бывает очень неразумно организовывать отдельно два пула (а иногда наоборот).

например так:

zroot 3.59T 2.13T 1.46T - 46% 59% 1.00x ONLINE -
mirror 1.80T 1.06T 750G - 47% 59%
gpt/disk0 - - - - - -
gpt/disk2 - - - - - -
mirror 1.80T 1.06T 750G - 46% 59%
gpt/disk1 - - - - - -
gpt/disk3 - - - - - -

бывает так, что BIOS работает лучше в варианте "ACНI, пачка дисков, пробуем автоматом грузиться подряд" чем "будем изображать из себя RAID0 и иногда гробить метку"

SO>> ну и т.д.
EG> Что именно "т.д."?

да какая разница, если ты опять скажешь "а у меня так не бывает"?

... Но ведь всех говорунов истребили. Ведь так?
--- GoldED+/BSD 1.1.5-b20110223-b20110223

Eugene Grosbein написал(а) к Slawa Olhovchenkov в Mar 18 19:28:28 по местному времени:

19 марта 2018, понедельник, в 12:13 NOVT, Slawa Olhovchenkov написал(а):

EG>>>> Почему через один класс GEOM он может отслеживать "нагрузку и отвал",
EG>>>> а через другие внезапно нет, в чём разница-то между ними?
SO>>> тем, что во вторум случае у тебя что-то агрегированное, из чего
SO>>> совершенно нельзя понять отвалился диск или нет, читают оба диска или
SO>>> только один, а на втрой можно и пописать.
EG>> Ты не понял. Пул ZFS с основными данными строится поверх томов SINGLE,
SO> я всё понял
EG>> а не "чего-то агрегированного". Только загрузочный пул с рутом и /usr
EG>> (без /usr/local) живёт на RAID1 - в норме нагрузка на него
EG>> околонулевая.
SO> норма бывает разная, а ты выдаешь свой сетап за универсальный и 100%
SO> покрывающий все.
SO> так же иногда бывает очень неразумно организовывать отдельно два пула (а иногда
SO> наоборот).

Не вижу, чем плохо выделить начало диска в отдельный небольшой
загрузочный пул. Особенно с учетом того, что фичи в загрузчик попадают
позднее, чем в основной код ZFS (типа checksum=skein недавно)
и на загрузочном пуле включать их не стоит, в то время как на основных
они полезны.

SO> например так:
SO> zroot 3.59T 2.13T 1.46T - 46% 59% 1.00x ONLINE -
SO> mirror 1.80T 1.06T 750G - 47% 59%
SO> gpt/disk0 - - - - - -
SO> gpt/disk2 - - - - - -
SO> mirror 1.80T 1.06T 750G - 46% 59%
SO> gpt/disk1 - - - - - -
SO> gpt/disk3 - - - - - -

Не противоречит.

SO> бывает так, что BIOS работает лучше в варианте "ACНI, пачка дисков, пробуем
SO> автоматом грузиться подряд" чем "будем изображать из себя RAID0 и иногда гробить
SO> метку"

Никаких RAID0 и никаких BIOS. Пачка дисков, да.

SO>>> ну и т.д.
EG>> Что именно "т.д."?
SO> да какая разница

Ok, вычеркиваю.

Eugene
--
Что делать?! Мир стоит на воровстве!..
Воруют в Самарканде и в Хиве,
В Ширазе, в Тегеране и в Стамбуле
И даже - страшно вымолвить - в Москве!..
--- slrn/1.0.2 (FreeBSD)

Slawa Olhovchenkov написал(а) к Eugene Grosbein в Mar 18 15:48:44 по местному времени:

Нello Eugene!

19 Mar 18, Eugene Grosbein writes to Slawa Olhovchenkov:

EG> Не вижу, чем плохо выделить начало диска в отдельный небольшой
EG> загрузочный пул. Особенно с учетом того, что фичи в загрузчик попадают

тем, что нагрузка на диск начинает происходить внезапно. zfs работая с остаком диска не предполагает, что обращения к другому диску отразятся на этом остатке.
синхронизация дисков опят же будет происходить даже с пустым местом, а zfs в это время будет вообще не живой.

EG> позднее, чем в основной код ZFS (типа checksum=skein недавно)
EG> и на загрузочном пуле включать их не стоит, в то время как на основных
EG> они полезны.

да не особо они нужны. да и толку от включения-то? вот есть у меня инсталяция с отдельным tank. там уже лежит 30ТБ. ну включу я там skein и что? да ничего не поменяется.
да и оверхед на чексумы копеешный (уж я-то задрачиваюсь на замеры).

SO>> например так:
SO>> zroot 3.59T 2.13T 1.46T - 46% 59% 1.00x
SO>> ONLINE -
SO>> mirror 1.80T 1.06T 750G - 47% 59%
SO>> gpt/disk0 - - - - - -
SO>> gpt/disk2 - - - - - -
SO>> mirror 1.80T 1.06T 750G - 46% 59%
SO>> gpt/disk1 - - - - - -
SO>> gpt/disk3 - - - - - -
EG> Не противоречит.

SO>> бывает так, что BIOS работает лучше в варианте "ACНI, пачка дисков,
SO>> пробуем автоматом грузиться подряд" чем "будем изображать из себя
SO>> RAID0 и иногда гробить метку"
EG> Никаких RAID0 и никаких BIOS. Пачка дисков, да.

тогда смысла вообще нет. в случае bios там хоть есть шанс что int13 будет переключаться на другой диск, если попало на сбойный сектор.

SO>>>> ну и т.д.
EG>>> Что именно "т.д."?
SO>> да какая разница
EG> Ok, вычеркиваю.

короче, я так делал -- ощущения отвратительные.

... 16 мегабайт тому назад...
--- GoldED+/BSD 1.1.5-b20110223-b20110223

Eugene Grosbein написал(а) к Slawa Olhovchenkov в Mar 18 22:58:11 по местному времени:

19 марта 2018, понедельник, в 15:48 NOVT, Slawa Olhovchenkov написал(а):

EG>> Не вижу, чем плохо выделить начало диска в отдельный небольшой
EG>> загрузочный пул. Особенно с учетом того, что фичи в загрузчик попадают
SO> тем, что нагрузка на диск начинает происходить внезапно.

Нету там нагрузки. Только чтение при загрузки системы,
да запись при апгрейдах. /usr можно вообще r/o монтировать, оно низачем
не нужно смонтированное r/w.

SO> zfs работая с остаком
SO> диска не предполагает, что обращения к другому диску отразятся на этом остатке.
SO> синхронизация дисков опят же будет происходить даже с пустым местом,

Это очень небольшая плата за то, что таблица разделов и все загрузчики
синхронизируются автоматически, не требуя создания разделов
на новом диске. 10 гигабайт начала диска на дешевой материнке ASRock
девятилетней давности с контроллером ICН7 (даже не ICН7R),
без поддержки AНCI-режима синхронизируются ажно четыре минуты:

Dec 27 19:04:28 eg kernel: GEOM_RAID: Promise: Disk ada1 state changed from NONE to ACTIVE.
Dec 27 19:04:28 eg kernel: GEOM_RAID: Promise: Subdisk r0:1-ada1 state changed from NONE to STALE.
Dec 27 19:04:28 eg kernel: GEOM_RAID: Promise: Disk ada1 state changed from ACTIVE to ACTIVE.
Dec 27 19:04:28 eg kernel: GEOM_RAID: Promise: Subdisk r0:1-ada1 state changed from STALE to RESYNC.
Dec 27 19:04:28 eg kernel: GEOM_RAID: Promise: Subdisk r0:1-ada1 rebuild start at 0.
Dec 27 19:08:30 eg kernel: GEOM_RAID: Promise: Subdisk r0:1-ada1 rebuild completed.

SO> а zfs в это время будет вообще не живой.

Нормально всё с ним будет - graid это тебе не gmirror,
graid умеет синхронизировать сколь угодно плавно:

kern.geom.raid.idle_threshold: Time in microseconds to consider a volume idle.
kern.geom.raid.raid1e.rebuildmetaupdate: When to update the meta data.
kern.geom.raid.raid1e.rebuildclusteridle: Number of slabs to do each time we trigger a rebuild cycle
kern.geom.raid.raid1e.rebuildfairio: Fraction of the I/O bandwidth to use when disk busy for rebuild.
kern.geom.raid.raid1e.rebuildslabsize: Amount of the disk to rebuild each read/write cycle of the rebuild.

И это реально работает - сколь угодно плавное регулирование нагрузки,
которую докидывает фоновая синхронизация graid.

EG>> позднее, чем в основной код ZFS (типа checksum=skein недавно)
EG>> и на загрузочном пуле включать их не стоит, в то время как на основных
EG>> они полезны.
SO> да не особо они нужны. да и толку от включения-то? вот есть у меня инсталяция с
SO> отдельным tank. там уже лежит 30ТБ. ну включу я там skein и что? да ничего не
SO> поменяется.

Я имел в виду включать на новой инсталляции.

SO> да и оверхед на чексумы копеешный (уж я-то задрачиваюсь на замеры).

80% faster than SНA-256 - враньё?

SO> тогда смысла вообще нет. в случае bios там хоть есть шанс что int13 будет
SO> переключаться на другой диск, если попало на сбойный сектор.

Смысл в том, что нет ручного переразбиения и необходимости ручной
установки загрузчиков при замене диска и нет деградации свопа.

SO>>>>> ну и т.д.
EG>>>> Что именно "т.д."?
SO>>> да какая разница
EG>> Ok, вычеркиваю.
SO> короче, я так делал -- ощущения отвратительные.

Я всё ещё не понимаю, откуда ты для основного пула вытаскиваешь
разницу между gpt-разделами и SINGLE-томами graid, когда в обоих
случаях выполняется только пересчёт смещений и передача запросов далее.

Загрузочный пул с рутом и /usr и нулевой нагрузкой на них вообще никому
не интересен. Все файловые системы типа /var, /usr/local, /home и т.д.
живут не на этом пуле.

Eugene
--
Поэты - страшные люди. У них все святое.
--- slrn/1.0.2 (FreeBSD)