Куда подевалось место на ZFS

Alex Korchmar написал(а) к Vova Uralsky в Nov 17 14:58:59 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Vova Uralsky <Vova.Uralsky@f257.n5030.z2.fidonet.org> wrote:

VU> хм обратно, с таким никогда не сталкивался, возможно это какая-то
VU> особенность FBSD.
скорее, старых версий zfs, возможно, что-то и исправлено сейчас, раз у тебя,
чудесным образом, тоже решилась проблема.

VU> Да. Я лет десять назад на эту тему колл делал. Объяснение было
VU> что это фича а не баг. Чтобы удалить файл, надо произвести
а, ну да, COW же-ж.

очччень интересно, как эту проблему решили. Полагаю, довольно некрасивым
способом.

VU> ничего удалить. Точно также оно не должно было работать с играми
VU> с резервированием. zfs set будет записывать в датасет, что на
VU> переполненном пуле (было раньше) фатально.
так у нас пул-то не переполнен - резерв не дал. Переполнен dataset, да и хрен
с ним. Убираем резерв (не с него, а с другого, который держали именно
для резерва, и, поскольку он пустой, место там есть) - и у нас еще целых
пол-часа на то, чтобы как-то выкрутиться, пока и этот резерв не сожран ;-)
"и хрен вы меня потом найдете!"

AK>> ты хочешь сказать, у нас и резервы не работают?
VU> Я хочу сказать что если всё работает как в опениндиане, резервами можно не
хм... это место у нас одно и то же. Или даже у опенинди оно более старое, за
счет более древного среза с первоисточника.

VU> пользоваться. Если какая-то программа завалила мусором диск, надо удалить
VU> мусор, как мы это делаем на UFS.
надо бы еще потестировать, не упадет ли производительность обращений
к не-мусору до околонулевой, как оно и было у нас раньше. Если это
происходило из-за неоптимального размещения блоков - то даже после
освобождения места решить проблему можно только с помощью cp && rm
(близкая проблема аналогичного происхождения, не так давно
вроде-бы-исправленная, решалась только так. Что уже через жопу
отлеглось на диски, так через жопу и оставалось, логичненько)


я до сих пор не придумал, как устроить подобный тест в безопасном месте.


> Alex

--- ifmail v.2.15dev5.4

Eugene Grosbein написал(а) к Vova Uralsky в Nov 17 19:44:43 по местному времени:

04 нояб. 2017, суббота, в 11:42 NOVT, Vova Uralsky написал(а):

EG>> А с запущенными сервисами работать только с хорошим резервом.
VU> Я кажется понял. У нас совершенно разный майндсет. У меня не может возникнуть
VU> ситуации когда я не смогу добавить сотню гигов в пул. Мне незачем хранить резерв
VU> в пуле.
VU> Конечно, когда у тебя железный НDD, вкрученый намертво в PC, проблемы совсем
VU> другие.

И тем не менее, возможность поставить мгновенно убираемый резерв
есть и у тебя. И я сомневаюсь, что ты можешь сотню гиг добавить
в пул настолько быстро.

Eugene
--
http://grosbeyn.moikrug.ru/
--- slrn/1.0.2 (FreeBSD)

Vova Uralsky написал(а) к Alex Korchmar в Nov 17 13:52:08 по местному времени:

Нello Alex!

04 Nov 17 14:49, Alex Korchmar wrote to Vova Uralsky:

VU>> Я кажется понял. У нас совершенно разный майндсет. У меня не
VU>> может возникнуть ситуации когда я не смогу добавить сотню гигов
AK> у тебя пул - виртуалочка на виртуальном хостинге, я правильно
AK> понимаю?

Нет. То что я показал, был эксперимент на моём ноутбуке в виртуальном ящике.

AK> ("сотню гигов", и быстро-добавить исключает другие трактовки. Правда,
AK> неясно,
AK> кто только что гнал про "настоящее сановское железо под настоящей
AK> операционной системой")

Продолжаю гнать. Там я таких экспериментов делать не буду. И там действительно можно добавить сотню-другую гигов не особо задумываясь. Терабайт может быть сложно будет, поскольку лицензируется это хозяйство по количеству занятых терабайт. Диски не стоят практически ничего и уже вставлены. Бегать к ларьку ненадо.

VU>> в пул. Мне незачем хранить резерв в пуле.
AK> ага, выкинул вместе с виртуалкой и сделал вид что так и было, все
AK> равно эти твои логи никому никогда не были нужны.

А?

VU>> Конечно, когда у тебя железный НDD, вкрученый намертво в PC,
AK> у меня полка с 40 железными hdd и пачкой ssd, и я все равно не
AK> смогу ни высрать из воздуха забесплатно вторую (не говоря уже о
AK> некоторых чисто технических трудностях с "просто добавить ее в
AK> пул"), ни что-то быстро сделать внутри существующей - кроме как раз
AK> задействовать резерв, эквивалентный ее размеру (то есть - дорогой
AK> и большой, в байтах) - заранее предусмотренный в дизайне системы.

А, ну да. Я и говорю, другой майндсет.

VU>> проблемы совсем другие.
AK> когда речь о "сотнях гигов", проблемы, очевидно, детские.

Я приводил пример про 13 терабайт, вроде... Уже не детский сад, третий класс вторая четверть точно.

Regards,
Vova

--- Msged/BSD 6.2.0

Vova Uralsky написал(а) к Alex Korchmar в Nov 17 14:24:18 по местному времени:

Нello Alex!

04 Nov 17 14:58, Alex Korchmar wrote to Vova Uralsky:

VU>> ничего удалить. Точно также оно не должно было работать с играми
VU>> с резервированием. zfs set будет записывать в датасет, что на
VU>> переполненном пуле (было раньше) фатально.
AK> так у нас пул-то не переполнен - резерв не дал. Переполнен dataset,
AK> да и хрен
AK> с ним. Убираем резерв (не с него, а с другого, который держали именно
AK> для резерва, и, поскольку он пустой, место там есть) - и у нас еще
AK> целых
AK> пол-часа на то, чтобы как-то выкрутиться, пока и этот резерв не
AK> сожран ;-) "и хрен вы меня потом найдете!"

Ровно это я и хотел проверить, поскольку мой внутренний голос говорит мне, что это работать не будет.

Можно посавить фрю в виртуалку и проврить. Именно это я и предлагал сделать в конце моего письма с описанием теста.

Regards,
Vova

--- Msged/BSD 6.2.0

Vova Uralsky написал(а) к Eugene Grosbein в Nov 17 15:18:30 по местному времени:

Нello Eugene!

04 Nov 17 19:44, Eugene Grosbein wrote to Vova Uralsky:

EG>>> А с запущенными сервисами работать только с хорошим резервом.
VU>> Я кажется понял. У нас совершенно разный майндсет. У меня не может
VU>> возникнуть ситуации когда я не смогу добавить сотню гигов в пул. Мне
EG> И тем не менее, возможность поставить мгновенно убираемый резерв
EG> есть и у тебя. И я сомневаюсь, что ты можешь сотню гиг добавить
EG> в пул настолько быстро.

Это конечно справедливо, если у тебя только одна такая машинка. Иначе это попахивает разбазариванием народного добра. А так, если поторопиться, можно минут за 20 успеть, включая вход в VPN и заход на терминальный сервер. Вобщем, дело вкуса. Если контора делает IT для самих себя, почему бы и нет? Купить стораджа подешевле, распланировать под завязку, распихать везде резерв, чтобы кто-то не украл... XX век.

Regards,
Vova

--- Msged/BSD 6.2.0

Alex Korchmar написал(а) к Eugene Grosbein в Nov 17 17:57:34 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote:

EG> есть и у тебя. И я сомневаюсь, что ты можешь сотню гиг добавить
EG> в пул настолько быстро.
Женя, когда речь о сотне гиг - это и я могу, мышиком клик-клик, и добавил.
пару терабайт - уже болезненно, их может не быть куда воткнуть, и они не очень
быстро копируются.
пару сотен - уже вообще никак, или надежность всего конструктора сведется
к отрицательной величине.


> Alex

--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Vova Uralsky в Nov 17 18:00:05 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Vova Uralsky <Vova.Uralsky@f257.n5030.z2.fidonet.org> wrote:

VU> Продолжаю гнать. Там я таких экспериментов делать не буду. И там действительно
VU> можно добавить сотню-другую гигов не особо задумываясь. Терабайт может быть
VU> сложно будет, поскольку лицензируется это хозяйство по количеству занятых
VU> терабайт. Диски не стоят практически ничего и уже вставлены.
ну то есть у тебя резерв в сотни терабайт уже вставлен, но ты удивляешься,как
это люди на петабайтных пулах хранят резервы в 30-40% ?

VU> Я приводил пример про 13 терабайт, вроде...
туда, очевидно, сотню-другую гигов добавлять бестолку, до ларька добежать
не хватит. А пяток терабайт уже и непросто и небыстро.

> Alex

--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Vova Uralsky в Nov 17 18:02:05 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Vova Uralsky <Vova.Uralsky@f257.n5030.z2.fidonet.org> wrote:

VU> Можно посавить фрю в виртуалку и проврить.
там надо правильно проверить. Скриптом генерить большие (больше blocksize
хотя бы в 10 раз) файлы и мерять/сравнивать скорость чтения. Я такое за
пару часов не сделаю, а больше у меня нет.


> Alex

--- ifmail v.2.15dev5.4

Vova Uralsky написал(а) к Alex Korchmar в Nov 17 10:51:16 по местному времени:

Нello Alex!

04 Nov 17 18:00, Alex Korchmar wrote to Vova Uralsky:

VU>> Я приводил пример про 13 терабайт, вроде...
AK> туда, очевидно, сотню-другую гигов добавлять бестолку, до ларька
AK> добежать
AK> не хватит. А пяток терабайт уже и непросто и небыстро.

Я не вижу логики во всём этом.

Regards,
Vova

--- Msged/BSD 6.2.0

Eugene Grosbein написал(а) к Vova Uralsky в Nov 17 18:28:06 по местному времени:

04 нояб. 2017, суббота, в 16:18 NOVT, Vova Uralsky написал(а):

EG>>>> А с запущенными сервисами работать только с хорошим резервом.
VU>>> Я кажется понял. У нас совершенно разный майндсет. У меня не может
VU>>> возникнуть ситуации когда я не смогу добавить сотню гигов в пул. Мне
EG>> И тем не менее, возможность поставить мгновенно убираемый резерв
EG>> есть и у тебя. И я сомневаюсь, что ты можешь сотню гиг добавить
EG>> в пул настолько быстро.
VU> Это конечно справедливо, если у тебя только одна такая машинка. Иначе это
VU> попахивает разбазариванием народного добра.

В каком месте рабазариванием? Резервирование 5-8% от размера пула
на одном из датасетов ради того, чтобы "rm работал" на других
датасетах пула это разве разбазаривание?

VU> А так, если поторопиться, можно
VU> минут за 20 успеть, включая вход в VPN и заход на терминальный сервер. Вобщем,
VU> дело вкуса.

Вообще-то цель у меня в том, чтобы ничего срочно добавлять
не требовалось (плановое расширение - другая тема).
Чтобы если кто-то забил себе датасет, он же мог бы просто
запустить rm, который сразу бы исполнился либо сразу,
либо после временного снятия резерва (а после rm - возвращения).

Eugene
--
Поэты - страшные люди. У них все святое.
--- slrn/1.0.2 (FreeBSD)