Куда подевалось место на ZFS

Alex Korchmar написал(а) к Vova Uralsky в Oct 17 15:03:52 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Vova Uralsky <Vova.Uralsky@f257.n5030.z2.fidonet.org> wrote:

VU> Можно узнать, кто и где такое озвучивает? На петабайтном пуле тоже 10%
VU> зарезервируем?
если там zfs - да.
оно так работает.

VU> лет. Нам, видимо, просто везёт. Правда там солярис и спарк.
вероятнее всего - да, просто везет. Проблема в солярисе вполне себе
наблюдалась, и вряд ли решена за последнее время, учитывая что все
разработчики надысь строем пошли найух.
А может оно у вас и тормозит во всю, только пока логи успевают записываться,
вы об этом и не в курсе. (отдельно занятно, как вы живете в условиях, когда
любой чих вызовет переполнение логового стораджа)

VU> Про ZFS рассказывают страшные вещи.
Тут не рассказывали, а прямо показывали, как оно берет и превращается в
студень.
Причем уже тогда незнание этой, хм, фичи, вызывало некоторое удивление.

> Alex

--- ifmail v.2.15dev5.4

Vova Uralsky написал(а) к Alex Korchmar в Oct 17 15:24:50 по местному времени:

Нello Alex!

23 Oct 17 15:03, Alex Korchmar wrote to Vova Uralsky:

VU>> Можно узнать, кто и где такое озвучивает? На петабайтном пуле тоже
VU>> 10% зарезервируем?
AK> если там zfs - да.
AK> оно так работает.

Ох уж эти ....

Regards,
Vova

--- Msged/BSD 6.2.0

Alex Korchmar написал(а) к Vova Uralsky в Oct 17 18:20:30 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Vova Uralsky <Vova.Uralsky@f257.n5030.z2.fidonet.org> wrote:

AK>> если там zfs - да.
AK>> оно так работает.
VU> Ох уж эти ....
неумельцы пользоваться гуглем? Да...

проблема старая, давным давно хорошо известная, и очень вряд ли
самовылечившаяся.


> Alex

--- ifmail v.2.15dev5.4

Vova Uralsky написал(а) к Alex Korchmar в Oct 17 18:23:38 по местному времени:

Нello Alex!

23 Oct 17 18:20, Alex Korchmar wrote to Vova Uralsky:

AK>>> если там zfs - да.
AK>>> оно так работает.
VU>> Ох уж эти ....
AK> неумельцы пользоваться гуглем? Да...

Тут тоже помочь не смогу.

AK> проблема старая, давным давно хорошо известная, и очень вряд ли
AK> самовылечившаяся.

Времён больших механических дисков на IDE интерфейсах?

Regards,
Vova

--- Msged/BSD 6.2.0

Alexey Slukin написал(а) к Vova Uralsky в Oct 17 20:50:30 по местному времени:

Здpавствуй, Vova!

Понедельник 23 Октября 2017 00:52, ты писал(а) мне, в сообщении по ссылке area://ru.unix.bsd?msgid=2:5030/257+59ed4456:

VU> Нello Alexey!

VU> 22 Oct 17 22:34, Alexey Slukin wrote to Дмитрий Долженко:

AS>> Но в любом случае товарищ прав, превышать заполнение тома выше
AS>> определенного порога не стоит. Мало какая ФС такое любит,
AS>> выделять свободные блоки в карте туговато. Но про 75% это, имхо,
AS>> сильно. Обычно озвучивается порог в 90%. Хотя для COW это может
AS>> быть

VU> Можно узнать, кто и где такое озвучивает? На петабайтном пуле тоже 10%
VU> зарезервируем?
А почему бы и нет? Место сейчас дешевое, если не на ССД. Но что-то сомневаюсь я в петабайтах на ССД...

VU> Знаю один пул, 13 терабайт, на нём оракул живёт. Гигов
VU> примерно 600 в день на него записывается, точнее сказать не могу, но
VU> гигов 200 архивных логов ежедневно попадают в бэкап. Заполнен этот пул
VU> на 96-97% на протяжении лет. Нам, видимо, просто везёт. Правда там
VU> солярис и спарк.
А вы не пробовали помониторить скорость работы в текущем режиме и если высвободить до рекомендуемых тут товарищами 70%? Может оно получшеет?
Никто не говорит, что после превышения порога заполнения придет пушистый зверь, говорят, что резко снижается производительность. Если это пул для архивов,то хоть 99,9% заполняй, там скорость не особо важна, а вот если файлопомойка - тады ой.


С уважением - Alexey
--- -Пиши, старик, пиши! Мы тебя не покинем.

Vova Uralsky написал(а) к Alexey Slukin в Oct 17 22:02:56 по местному времени:

Нello Alexey!

23 Oct 17 20:50, Alexey Slukin wrote to Vova Uralsky:

VU>> Можно узнать, кто и где такое озвучивает? На петабайтном пуле тоже
VU>> 10% зарезервируем?
AS> А почему бы и нет? Место сейчас дешевое, если не на ССД. Но что-то
AS> сомневаюсь я в петабайтах на ССД...

Я тоже не могу себе представить петабайт локальных ССД. Но ктож так строит? Практически любой современный сторадж размера холодильника умеет автотиринг. Сколько ССД туда воткнуть, вопрос бюджета.

VU>> там солярис и спарк.
AS> А вы не пробовали помониторить скорость работы в текущем режиме и
AS> если высвободить до рекомендуемых тут товарищами 70%? Может оно
AS> получшеет?

В определённые моменты мы упераемся в пропускную способность НBA, правда по чтению. Данных действительно изрядно. Я не могу высвободить место, я могу отслюнявить новый LUN и добавить его в пул. По записи нам много ненадо. Если бы не хватало, оракул бы об этом обязательно сообщил.

AS> Никто не говорит, что после превышения порога заполнения придет
AS> пушистый зверь, говорят, что резко снижается производительность. Если
AS> это пул для архивов,то хоть 99,9% заполняй, там скорость не особо
AS> важна, а вот если файлопомойка - тады ой.

Ну, зверя нам тут обещали. Видимо дело в особенностях ворклоада, как ты правильно заметил. И для каждого ворклоада требуется определённое количество свободного места, которое в процентах вычислить невозможно. Могу себе представить что в нашем случае 500 гигов более чем достаточно. И если бы пул был вдвое больше, при том же количестве I/O, было бы тоже нормально.

Regards,
Vova

--- Msged/BSD 6.2.0

Alex Korchmar написал(а) к Alexey Slukin в Oct 17 14:56:07 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Alexey Slukin <Alexey.Slukin@p51.f722.n5030.z2.fidonet.org> wrote:

AS> А почему бы и нет? Место сейчас дешевое, если не на ССД. Но что-то
AS> сомневаюсь я в петабайтах на ССД...
я тебе больше скажу - если конец све...места на детской игрушке в
2,5T - полная фигня, бежишь галопом в соседний ларек, притаскиваешь оттуда
пару 4T, и через пол-часика zfs send | receive проблема ликвидирована в
корне и надолго, то вот конец места на петабайтном пуле - это п-ц. Полный.
Потому что если ты его забил не write-only данными, то, наверное, они все
же для чего-то были кому-то нужны, а такой объем быстро ни скопировать,
ни хотя бы избирательно почистить вручную от ненужного не получится.
А раз у тебя такой объем- значит и темпы забивания такие, что тоже
полумерами не обойдешься и в ларьке не купишь.

Поэтому не иметь там резерва как раз сопоставимого с общим объемом
и не начинать шевелиться задолго до подхода к критическим отметкам
- это головы не иметь надо.

AS> А вы не пробовали помониторить скорость работы в текущем режиме и если
AS> высвободить до рекомендуемых тут товарищами 70%? Может оно получшеет?
а зачем, они ж наверное ни разу не пробовали по этим логам восстановить
инстанс. Как навернется - нуууу, это все равно даунтайм, может уже и
восстанавливать ничего не будут, с вещами на выход.
Главное, верить, что оракл и соплярис владеют неземной магией и им никогда
не понадобится этот лог.

AS> Никто не говорит, что после превышения порога заполнения придет пушистый
AS> зверь,
провал производительности больших пулов ниже чем скорость поступления новой
ботвы - это именно пушистый зверь, потому что быстро подсунуть ему другой
большой пул, скорее всего, не хватит денег и места.


> Alex

--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Vova Uralsky в Oct 17 14:58:08 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Vova Uralsky <Vova.Uralsky@f257.n5030.z2.fidonet.org> wrote:

AK>> проблема старая, давным давно хорошо известная, и очень вряд ли
AK>> самовылечившаяся.
VU> Времён больших механических дисков на IDE интерфейсах?
времен начала массового перехода на zfs.
Когда о ней действительно простительно было не знать.


> Alex

--- ifmail v.2.15dev5.4

Vova Uralsky написал(а) к Alex Korchmar в Oct 17 00:24:08 по местному времени:

Нello Alex!

24 Oct 17 14:56, Alex Korchmar wrote to Alexey Slukin:

AK> Поэтому не иметь там резерва как раз сопоставимого с общим объемом
AK> и не начинать шевелиться задолго до подхода к критическим отметкам
AK> - это головы не иметь надо.

Зачем хранить резерв в пуле, если его можно туда добавить в любое время?

Regards,
Vova

--- Msged/BSD 6.2.0

Eugene Grosbein написал(а) к Alex Korchmar в Oct 17 18:17:38 по местному времени:

24 окт. 2017, вторник, в 13:56 NOVT, Alex Korchmar написал(а):

AS>> Никто не говорит, что после превышения порога заполнения

А это... в ZFS же можно настроить неприкосновенный запас, так чтобы
свободное место для его внутренних нужд всегда было в нужном объеме.
Почему эти фичи не юзают? Я про reservation и refreservation.

Eugene
--- slrn/1.0.2 (FreeBSD)