May 26 23:32:44 vas kernel: swap_pager_getswapspace(16): failed

Victor Sudakov написал(а) к All в May 18 00:47:52 по местному времени:

Dear All,

А вот сабжевое сообщение:

May 26 23:32:44 vas kernel: swappagergetswapspace(16): failed

и так много-много раз. Как узнать, кто скушал своп, какой процесс? И почему в конце концов это привело к беде (к повисанию системы)?

10.3, amd64, ZFS.

Прямо сейчас вот смотрю swapinfo, 0% использовано из 8 Гб свопа.

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20160322-b20160322

Alex Korchmar написал(а) к Victor Sudakov в May 18 00:43:02 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Victor Sudakov <Victor.Sudakov@f49.n5005.z2.fidonet.org> wrote:

> May 26 23:32:44 vas kernel: swappagergetswapspace(16): failed
> и так много-много раз. Как узнать, кто скушал своп, какой процесс? И почему в
> конце концов это привело к беде (к повисанию системы)?
welcome to the club

> 10.3, amd64, ZFS.
вот он и сожрал. И не отдал.

> Alex

--- ifmail v.2.15dev5.4

Eugene Grosbein написал(а) к Victor Sudakov в May 18 06:38:25 по местному времени:

27 мая 2018, воскресенье, в 22:47 NOVT, Victor Sudakov написал(а):

VS> May 26 23:32:44 vas kernel: swappagergetswapspace(16): failed
VS> и так много-много раз. Как узнать, кто скушал своп, какой процесс? И почему в
VS> конце концов это привело к беде (к повисанию системы)?
VS> 10.3, amd64, ZFS.
VS> Прямо сейчас вот смотрю swapinfo, 0% использовано из 8 Гб свопа.

Не знаю как щас в bleeding edge и в 11-STABLE,
но в 10.3 совершенно точно ZFs ARC может выжрать всю память.

Если нет возможности обновиться хотя бы до 11.1 - всё плохо.
Пробуй ставить жесткие лимиты на ARC (vfs.zfs.arc_max) и молись,
чтобы оно не превышало лимит в слишком много раз и слишком надолго.

Там примерно как в squid, у которого вроде и есть лимит,
но он может быть превышен втрое.

Eugene
--
Сердце - малочувствительный, мускулистый, грубый и жесткий орган.
--- slrn/1.0.3 (FreeBSD)

Eugene Grosbein написал(а) к All в May 18 06:46:14 по местному времени:

28 мая 2018, понедельник, в 05:38 NOVT, Eugene Grosbein написал(а):

EG> Если нет возможности обновиться хотя бы до 11.1 - всё плохо.
EG> Пробуй ставить жесткие лимиты на ARC (vfs.zfs.arc_max) и молись,
EG> чтобы оно не превышало лимит в слишком много раз и слишком надолго.
EG> Там примерно как в squid, у которого вроде и есть лимит,
EG> но он может быть превышен втрое.

И ещё - там лимит превышается из-за кеширования не столько данных,
сколько метаданных. А у нас в periodic есть скрипты, которые
писались во время UFS и в случае с ZFS провоцируют ненужное кеширование
огромного количества метаданных несколькими запусками find по всему
дереву каталогов.

Очень сильно помогает убирание не используемых постоянно каталогов
типа /usr/ports, /usr/src и /usr/obj в отдельные файловые системы,
выставление им zfs set mountpoint=legacy и прописывание в /etc/fstab:

z/ports /usr/ports zfs rw,noauto 0 0

Когда порты нужны, просто делаешь mount /usr/ports

ZFS ARC резко худеет после этого и больше не создаёт проблем
на "обычном" сервере без миллионов других файлов.

Eugene
--- slrn/1.0.3 (FreeBSD)

Victor Sudakov написал(а) к Alex Korchmar в May 18 08:33:08 по местному времени:

Dear Alex,

28 May 18 00:43, Alex Korchmar wrote to me:

>> May 26 23:32:44 vas kernel: swappagergetswapspace(16): failed
>> и так много-много раз. Как узнать, кто скушал своп, какой процесс? И
>> почему в конце концов это привело к беде (к повисанию системы)?
AK> welcome to the club

>> 10.3, amd64, ZFS.
AK> вот он и сожрал. И не отдал.

Откуда уверенность, что именно ZFS ?

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20160322-b20160322

Victor Sudakov написал(а) к eugen в May 18 08:35:10 по местному времени:

Dear eugen,

28 May 18 06:38, Eugene Grosbein wrote to me:

VS>> May 26 23:32:44 vas kernel: swappagergetswapspace(16): failed
VS>> и так много-много раз. Как узнать, кто скушал своп, какой
VS>> процесс? И почему в конце концов это привело к беде (к повисанию
VS>> системы)? 10.3, amd64, ZFS. Прямо сейчас вот смотрю swapinfo, 0%
VS>> использовано из 8 Гб свопа.

EG> Не знаю как щас в bleeding edge и в 11-STABLE,
EG> но в 10.3 совершенно точно ZFs ARC может выжрать всю память.

EG> Если нет возможности обновиться хотя бы до 11.1 - всё плохо.

Да почему, есть возможность обновиться, 10-ке в любом случае скоро EoL. В 11.1 что-то починено в этом месте, да?

EG> Пробуй ставить жесткие лимиты на ARC (vfs.zfs.arc_max) и молись,

У меня в /boot/loader.conf уже сто лет стоит vfs.zfs.arc_max="41943040"
но почему-то не спасло.

root@vas:~ # sysctl vfs.zfs.arc_max
vfs.zfs.arc_max: 41943040


EG> чтобы оно не превышало лимит в слишком много раз и слишком надолго.

Так с чего оно вообще взбесилось вдруг? Я никаких миров и портов не собирал, мирно спал ночью, только раздавал WiFi сыну-полуночнику.

EG> И ещё - там лимит превышается из-за кеширования не столько данных,
EG> сколько метаданных. А у нас в periodic есть скрипты, которые
EG> писались во время UFS и в случае с ZFS провоцируют ненужное
EG> кеширование огромного количества метаданных несколькими запусками find
EG> по всему дереву каталогов.

EG> Очень сильно помогает убирание не используемых постоянно каталогов
EG> типа /usr/ports, /usr/src и /usr/obj в отдельные файловые системы,

У меня в /usr/ports, /usr/src и /usr/obj девстенно пусто. Что ещё могло дать эффект разрастания и почему vfs.zfs.arc_max="41943040" не помог?

Или может всё же виновник сабже - на этот раз не ZFS?

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20160322-b20160322

Alex Korchmar написал(а) к Victor Sudakov в May 18 07:25:44 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Victor Sudakov <Victor.Sudakov@f49.n5005.z2.fidonet.org> wrote:

> В 11.1
> что-то починено в этом месте, да?
в одном починено, в стадесяти поломано - но никто ради тебя не будет
копаться еще и в том древнем гнилье.

> Так с чего оно вообще взбесилось вдруг? Я никаких миров и портов не собирал,
может просто долго проработало без перезагрузок. Набить ей arc можно было
еще с вечера - он никогда не отдается обратно в систему в этой версии.

> Alex

--- ifmail v.2.15dev5.4

Eugene Grosbein написал(а) к Victor Sudakov в May 18 13:43:35 по местному времени:

28 мая 2018, понедельник, в 06:35 NOVT, Victor Sudakov написал(а):

EG>> Не знаю как щас в bleeding edge и в 11-STABLE,
EG>> но в 10.3 совершенно точно ZFs ARC может выжрать всю память.
EG>> Если нет возможности обновиться хотя бы до 11.1 - всё плохо.
VS> Да почему, есть возможность обновиться, 10-ке в любом случае скоро EoL. В 11.1
VS> что-то починено в этом месте, да?

Да - лимит работает чётко, в отличие от 10.3

EG>> Пробуй ставить жесткие лимиты на ARC (vfs.zfs.arc_max) и молись,
VS> У меня в /boot/loader.conf уже сто лет стоит vfs.zfs.arc_max="41943040"
VS> но почему-то не спасло.

Потому что не работает :-)

VS> root@vas:~ # sysctl vfs.zfs.arc_max
VS> vfs.zfs.arc_max: 41943040
EG>> чтобы оно не превышало лимит в слишком много раз и слишком надолго.
VS> Так с чего оно вообще взбесилось вдруг? Я никаких миров и портов не собирал,
VS> мирно спал ночью, только раздавал WiFi сыну-полуночнику.

Оно скорее всего потихоньку утекало.

Eugene
--
Комбинация заискивания, подкупа и устрашения заставит молодого ученого
работать над управляемыми снарядами или атомной бомбой. (Норберт Винер)
--- slrn/1.0.3 (FreeBSD)

Victor Sudakov написал(а) к Alex Korchmar в May 18 13:05:44 по местному времени:

Dear Alex,

28 May 18 07:25, Alex Korchmar wrote to me:
>> В 11.1
>> что-то починено в этом месте, да?
AK> в одном починено, в стадесяти поломано - но никто ради тебя не будет
AK> копаться еще и в том древнем гнилье.

>> Так с чего оно вообще взбесилось вдруг? Я никаких миров и портов не
>> собирал,
AK> может просто долго проработало без перезагрузок. Набить ей arc можно
AK> было еще с вечера - он никогда не отдается обратно в систему в этой
AK> версии.

Но у меня же лимит стоит.

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20160322-b20160322

Slawa Olhovchenkov написал(а) к Eugene Grosbein в May 18 11:02:30 по местному времени:

Нello Eugene!

28 May 18, Eugene Grosbein writes to Victor Sudakov:

VS>> May 26 23:32:44 vas kernel: swappagergetswapspace(16): failed
VS>> и так много-много раз. Как узнать, кто скушал своп, какой процесс? И
VS>> почему в конце концов это привело к беде (к повисанию системы)? 10.3,
VS>> amd64, ZFS. Прямо сейчас вот смотрю swapinfo, 0% использовано из 8 Гб
VS>> свопа.

EG> Не знаю как щас в bleeding edge и в 11-STABLE,
EG> но в 10.3 совершенно точно ZFs ARC может выжрать всю память.

EG> Если нет возможности обновиться хотя бы до 11.1 - всё плохо.
EG> Пробуй ставить жесткие лимиты на ARC (vfs.zfs.arc_max) и молись,
EG> чтобы оно не превышало лимит в слишком много раз и слишком надолго.

молиться, поститься, слушать радио радонеж, но боже упаси! никогда ничего не чинить!

... Только через мой труп или за бешенные деньги!
--- GoldED+/BSD 1.1.5-b20110223-b20110223