Куда подевалось место на ZFS

Dmitry Dolzenko написал(а) к All в Oct 17 11:42:14 по местному времени:

From: Dmitry Dolzenko <dol@mig.phys.msu.ru>

Привет!

Есть пул ZFS
На нем было занято 3.2Тб, потом я удалил 1 Тб
Место на диске не освободилось.
Снапшоты делаются несколько раз в день, казалось бы - нашел старый
снапшот, удалил и все ок.
Смотрю размеры
zfs list -r -t snapshot zroot/usr/zshare
все снапшоты маленькие, вроде как места не занимают?
Куда подевался 1Тб?

NAME USED AVAIL REFER MOUNTPOINT
zroot/usr/zshare@2017-10-11_00.00.00--2w 1,45G - 3,18T -
zroot/usr/zshare@2017-10-13_12.00.00--7d 1,28G - 3,20T -
zroot/usr/zshare@2017-10-14_12.00.00--7d 13,8M - 3,20T -
zroot/usr/zshare@2017-10-15_12.00.00--7d 0 - 3,21T -
zroot/usr/zshare@zrep_000135 0 - 3,21T -
zroot/usr/zshare@2017-10-16_12.00.00--7d 641M - 3,21T -
zroot/usr/zshare@zrep_000136 33,2M - 3,16T -
zroot/usr/zshare@2017-10-17_12.00.00--7d 491M - 3,16T -
zroot/usr/zshare@2017-10-18_00.00.00--2w 0 - 3,17T -
zroot/usr/zshare@zrep_000137 0 - 3,17T -
zroot/usr/zshare@2017-10-18_10.00.00--2d 416K - 3,17T -
zroot/usr/zshare@2017-10-18_12.00.00--7d 34,6M - 3,17T -
zroot/usr/zshare@2017-10-18_15.00.00--2d 23,8M - 3,17T -
zroot/usr/zshare@2017-10-18_18.00.00--2d 9,32M - 3,14T -
zroot/usr/zshare@zrep_000138 85,2K - 2,43T -
zroot/usr/zshare@2017-10-19_10.00.00--2d 107K - 2,43T -
zroot/usr/zshare@2017-10-19_12.00.00--7d 89,5M - 2,37T -
zroot/usr/zshare@2017-10-19_15.00.00--2d 135M - 2,37T -
zroot/usr/zshare@2017-10-19_18.00.00--2d 3,60M - 2,37T -
zroot/usr/zshare@zrep_000139 85,2K - 2,37T -
zroot/usr/zshare@2017-10-20_10.00.00--2d 85,2K - 2,37T -


df -h zroot/usr/zshare
Filesystem Size Used Avail Capacity Mounted on
zroot/usr/zshare 2,5T 2,4T 84G 97% /usr/zshare

/D

--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Dmitry Dolzenko в Oct 17 16:01:52 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Dmitry Dolzenko <dol@mig.phys.msu.ru> wrote:

DD> На нем было занято 3.2Тб, потом я удалил 1 Тб
DD> Место на диске не освободилось.
DD> Снапшоты делаются несколько раз в день, казалось бы - нашел старый
DD> снапшот, удалил и все ок.
не все ок, они удаляются асинхронно c хз каких времен.

А поскольку очевидно что ты подзагадил диск до превышения печально известной
планки в 75%, удаляться оно теперь будет очень и очень небыстро.


DD> df -h zroot/usr/zshare
DD> Filesystem Size Used Avail Capacity Mounted on
DD> zroot/usr/zshare 2,5T 2,4T 84G 97% /usr/zshare
писец котенку.


> Alex

--- ifmail v.2.15dev5.4

Dmitry Dolzenko написал(а) к Alex Korchmar в Oct 17 16:51:54 по местному времени:

From: Dmitry Dolzenko <dol@mig.phys.msu.ru>

20.10.2017 16:01, Alex Korchmar пишет:

> не все ок, они удаляются асинхронно c хз каких времен.
>
> А поскольку очевидно что ты подзагадил диск до превышения печально известной
> планки в 75%, удаляться оно теперь будет очень и очень небыстро.
>

Ты пишешь о чем то своем, наболевшем. Что я удалял снапшот я не писал.

/D

--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Dmitry Dolzenko в Oct 17 22:24:34 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Dmitry Dolzenko <dol@mig.phys.msu.ru> wrote:

>> А поскольку очевидно что ты подзагадил диск до превышения печально известной
>> планки в 75%, удаляться оно теперь будет очень и очень небыстро.
DD> Ты пишешь о чем то своем, наболевшем. Что я удалял снапшот я не писал.
ну научись тогда писать так, чтобы не приходилось гадать, что ты на самом
деле там делал и как доигрался до "97%".
Filesystem Size Used Avail Capacity Mounted on
zroot/usr/zshare 2,5T 2,4T 84G 97% /usr/zshare
вот это - означает что проще уже скопировать нахрен и создать fs заново, чем
чинить.

> Alex

--- ifmail v.2.15dev5.4

Alexey Slukin написал(а) к Дмитрий Долженко в Oct 17 22:25:14 по местному времени:

Здpавствуй, Дмитрий!

Пятница 20 Октября 2017 11:42, Dmitry Dolzenko All, в сообщении по ссылке area://ru.unix.bsd?msgid=<1187508310@ddt.demos.su>+03489b42:

DD> zroot/usr/zshare@2017-10-11_00.00.00--2w 1,45G -
DD> 3,18T - zroot/usr/zshare@2017-10-13_12.00.00--7d 1,28G - 3,20T
DD> - zroot/usr/zshare@2017-10-14_12.00.00--7d 13,8M - 3,20T
DD> - zroot/usr/zshare@2017-10-15_12.00.00--7d 0 - 3,21T
DD> - zroot/usr/zshare@zrep_000135 0 - 3,21T
DD> - zroot/usr/zshare@2017-10-16_12.00.00--7d 641M - 3,21T
DD> - zroot/usr/zshare@zrep_000136 33,2M - 3,16T
DD> - zroot/usr/zshare@2017-10-17_12.00.00--7d 491M - 3,16T
DD> - zroot/usr/zshare@2017-10-18_00.00.00--2w 0 - 3,17T
DD> - zroot/usr/zshare@zrep_000137 0 - 3,17T
DD> - zroot/usr/zshare@2017-10-18_10.00.00--2d 416K - 3,17T
DD> - zroot/usr/zshare@2017-10-18_12.00.00--7d 34,6M - 3,17T
DD> - zroot/usr/zshare@2017-10-18_15.00.00--2d 23,8M - 3,17T
DD> - zroot/usr/zshare@2017-10-18_18.00.00--2d 9,32M - 3,14T
IMНO, когда вот эти снапы удалишь, тогда и освободится место. Заблокированы данные снапшотами. От чего-то изменения должны храниться? Начальные данные держатся, пока их использует хоть один снимок. Размер снапшота = размер измененных данных, а не сами данные. ИМХО.

DD> df -h zroot/usr/zshare
DD> Filesystem Size Used Avail Capacity Mounted on
DD> zroot/usr/zshare 2,5T 2,4T 84G 97% /usr/zshare

С уважением - Alexey
--- -Пиши, старик, пиши! Мы тебя не покинем.

Dmitry Dolzenko написал(а) к Alexey Slukin в Oct 17 12:36:36 по местному времени:

From: Dmitry Dolzenko <dol@mig.phys.msu.ru>

21.10.2017 22:25, Alexey Slukin пишет:
> Здpавствуй, Дмитрий!
>
> Пятница 20 Октября 2017 11:42, Dmitry Dolzenko All, в сообщении по ссылке
> area://ru.unix.bsd?msgid=<1187508310@ddt.demos.su>+03489b42:
>
> DD> zroot/usr/zshare@2017-10-11_00.00.00--2w 1,45G -
> DD> 3,18T - zroot/usr/zshare@2017-10-13_12.00.00--7d 1,28G - 3,20T
> DD> - zroot/usr/zshare@2017-10-14_12.00.00--7d 13,8M - 3,20T
> DD> - zroot/usr/zshare@2017-10-15_12.00.00--7d 0 - 3,21T
> DD> - zroot/usr/zshare@zrep_000135 0 - 3,21T
> DD> - zroot/usr/zshare@2017-10-16_12.00.00--7d 641M - 3,21T
> DD> - zroot/usr/zshare@zrep_000136 33,2M - 3,16T
> DD> - zroot/usr/zshare@2017-10-17_12.00.00--7d 491M - 3,16T
> DD> - zroot/usr/zshare@2017-10-18_00.00.00--2w 0 - 3,17T
> DD> - zroot/usr/zshare@zrep_000137 0 - 3,17T
> DD> - zroot/usr/zshare@2017-10-18_10.00.00--2d 416K - 3,17T
> DD> - zroot/usr/zshare@2017-10-18_12.00.00--7d 34,6M - 3,17T
> DD> - zroot/usr/zshare@2017-10-18_15.00.00--2d 23,8M - 3,17T
> DD> - zroot/usr/zshare@2017-10-18_18.00.00--2d 9,32M - 3,14T
> IMНO, когда вот эти снапы удалишь, тогда и освободится место. Заблокированы
> данные снапшотами. От чего-то изменения должны храниться? Начальные данные
> держатся, пока их использует хоть один снимок. Размер снапшота = размер
> измененных данных, а не сами данные. ИМХО.

Все верно, как только хлопнул эти снапшоты, стазу терабайт освободился.
И не пришлось ждать вечно, как тут нагнетал товарищ A.K.
Спасибо! Действительно в размер снапшота не включены удаленные данные.

/D


--- ifmail v.2.15dev5.4

Alexey Slukin написал(а) к Дмитрий Долженко в Oct 17 22:34:50 по местному времени:

Здpавствуй, Дмитрий!

Воскресенье 22 Октября 2017 12:36, Dmitry Dolzenko мне, в сообщении по ссылке area://ru.unix.bsd?msgid=<1187508314@ddt.demos.su>+29dc0d9c:

>> IMНO, когда вот эти снапы удалишь, тогда и освободится место.
>> Заблокированы данные снапшотами. От чего-то изменения должны
>> храниться? Начальные данные держатся, пока их использует хоть один
>> снимок. Размер снапшота = размер измененных данных, а не сами
>> данные. ИМХО.

DD> Все верно, как только хлопнул эти снапшоты, стазу терабайт
DD> освободился. И не пришлось ждать вечно, как тут нагнетал товарищ A.K.
DD> Спасибо! Действительно в размер снапшота не включены удаленные данные.

Но в любом случае товарищ прав, превышать заполнение тома выше определенного порога не стоит. Мало какая ФС такое любит, выделять свободные блоки в карте туговато. Но про 75% это, имхо, сильно. Обычно озвучивается порог в 90%. Хотя для COW это может быть критичнее, чем для классических ФС. Раньше было много времени, гонял разные ФС на быстродействие, но результатов не озвучу, за давностию лет не помню, да и многие ФС уже сильно продвинулись вперед и в сторону.

С уважением - Alexey
--- -Пиши, старик, пиши! Мы тебя не покинем.

Alex Korchmar написал(а) к Dmitry Dolzenko в Oct 17 00:09:56 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Dmitry Dolzenko <dol@mig.phys.msu.ru> wrote:

DD> Все верно, как только хлопнул эти снапшоты, стазу терабайт освободился.
DD> И не пришлось ждать вечно, как тут нагнетал товарищ A.K.
хм, а вот это интересно. uname -v что говорит?

(хотя удалить снапшот - немножко не то же самое, что удалить файлы, но может
и тут что починилось?)

> Alex

--- ifmail v.2.15dev5.4

Vova Uralsky написал(а) к Alexey Slukin в Oct 17 00:52:18 по местному времени:

Нello Alexey!

22 Oct 17 22:34, Alexey Slukin wrote to Дмитрий Долженко:

AS> Но в любом случае товарищ прав, превышать заполнение тома выше
AS> определенного порога не стоит. Мало какая ФС такое любит, выделять
AS> свободные блоки в карте туговато. Но про 75% это, имхо, сильно.
AS> Обычно озвучивается порог в 90%. Хотя для COW это может быть

Можно узнать, кто и где такое озвучивает? На петабайтном пуле тоже 10% зарезервируем? Знаю один пул, 13 терабайт, на нём оракул живёт. Гигов примерно 600 в день на него записывается, точнее сказать не могу, но гигов 200 архивных логов ежедневно попадают в бэкап. Заполнен этот пул на 96-97% на протяжении лет. Нам, видимо, просто везёт. Правда там солярис и спарк.

AS> критичнее, чем для классических ФС. Раньше было много времени, гонял
AS> разные ФС на быстродействие, но результатов не озвучу, за давностию
AS> лет не помню, да и многие ФС уже сильно продвинулись вперед и в
AS> сторону.

Про ZFS рассказывают страшные вещи.

Regards,
Vova

--- Msged/BSD 6.2.0

Alex Korchmar написал(а) к Alexey Slukin в Oct 17 14:57:22 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Alexey Slukin <Alexey.Slukin@p51.f722.n5030.z2.fidonet.org> wrote:

AS> порога не стоит. Мало какая ФС такое любит, выделять свободные блоки в
AS> карте туговато. Но про 75% это, имхо, сильно.
для zfs это катастрофический предел - то есть дергаться надо начинать
на 70. И там не карта свободных блоков, а гораздо более мутная система -
то есть даже понаудалять побыстрому не получится (получится ме-е-е-е-едленно)
Если бы вы не вчера родились, и имели доступ к архиву эхи - вы бы
познакомились с теми, кто уже успешно наступал на эти грабли.

Но вдруг что-то все же улучшили за последние пол-года...

(хотя скорее всего клиента спасло именно то, что это был снапшот, а в
рабочей копии файлов не было)


> Alex

--- ifmail v.2.15dev5.4