ARC max size

Eugene Grosbein написал(а) к Slawa Olhovchenkov в May 18 18:23:59 по местному времени:

14 мая 2018, понедельник, в 09:42 NOVT, Slawa Olhovchenkov написал(а):

EG>> Но почему? Линейная запись на graid (RAID10) без лишних конкурирующих
EG>> запросов, в два потока, должна идти со скоростью записи на страйп,
EG>> то есть вдвое быстрее, чем на один диск.
SO> откуда взялось:
SO> а) два потока
SO> б) без лишних конкурирующих запросов
SO> если мы говорим о синкании после замены диска?

Я имел в виду спокойную починку сломавшейся железки после снятия
с неё нагрузки до окончания починки. Количество потоков настраивается.

SO>>> ты покажу суммарную производительность при паралельном чтении из 400
SO>>> различных файлов.
EG>> То есть речь идёт об дергании головками НDD? А i/o scheduling пробовал?
SO> а зачем? я и освещать и камлать с бубном не пробовал -- толк-то примерно одинаковый.

Ну почитай PDF-то. Вот imp & Netflix озаботились, написали и даже привели
код к публекуемому виду и запушили в основное дерево. Я бы на твоём месте
как минимум почитал.

SO> но ты можешь меня попробовать переубедить, проделав эксперимент. какой -- я уже
SO> гворил.

У меня не на чем экспериментировать, я не в вашем с Netflix положении,
даже 10G нету на тестовых железках.

SO>>>>> 3) gjournal: ну лучше я не буду не коментировать
EG>>>> А ты покомментируй. У тебя же read-mostly нагрузка,
EG>>>> почему бы и не gjournal?
SO>>> костыли и подпорки.
SO>>> кеширование на SSD мне тоже самому из костылей и шелов городить?
EG>> Ну так я и спрашивал, для чего ZFS. Теперь понятно,
EG>> для L2ARC на SSD и агрессивного кеширования диска.
SO> а, т.е. тебя интересуют не мои ответы, а твои фантазии. ок.

Меня интересновал нормальный и по возможности коротки ответ,
почему ZFS. В общем, я его получил в итоге.

Eugene
--- slrn/1.0.2 (FreeBSD)

Alex Korchmar написал(а) к Eugene Grosbein в May 18 14:11:14 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote:

AK>> там проблема ровно в том, что к моменту когда ты сможешь merge, даже если
AK>> тебе это позволено, у тебя цифирка после "новая папка" будет трехзначной.
EG> Нет, не будет. Нет никакого смысла "коммитить" каждое изменение
EG> рабочего каталога aka "квантовать изменения", я же не пишу новый код.
раз есть изменение или несколько взаимосвязанных - значит есть смысл.
Потому что можно нечаянно потереть, можно захотеть посмотреть что
было неделю назад. Женя, это азбука использования vcs, они только для этого и
были придуманы.

А вот глобальному репо эти шаг вперед и два назад действительно неинтересны,
и их туда обычно не отправляют.

> Alex

--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Slawa Olhovchenkov в May 18 14:22:15 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Slawa Olhovchenkov <Slawa.Olhovchenkov@f500.n5030.z2.fidonet.org> wrote:

SO>>> не тот нынче год на дворе, что бы в этом месте диск экономить
AK>> у меня freebsd на low-end виртуалках, и, по сумме факторов, вряд ли с них
AK>> когда-либо выберется.
SO> и почему ты не пользуешься бинарниками?
неудобно раздавать, это тебе не линукс, где все собирается в пакеты.
Был бы это мой личный локальный датацентр - можно было б думать об nfs.
А так проще патч скопировать.

SO> для меня vbox норм, но я в основном диски к нему по iscsi цеплял. если так
SO> делать на локалхосте -- я думаю никакого вреда кроме пользы не будет.
SO> от aio сам виртуалбокс валится
ну да, или просто неэффективно грызет диски, как в линуксе. Но это ж означает,
что там вообще вменяемых разработчиков десять лет как нет - сеть гуано,
диски гуано, интерфейс через nested x работает лучше чем через удаленный X-
протокол, virtio net умудрились сделать медленее в разы чем эмулятор e1000,
да блин, что же в нем тогда хорошо?

А из вмвари их уволили всего шесть лет тому, разьве что локальный сторадж
не успели сделать хорошо. Но от него, в общем, много и не требуется.

SO> я сегодня попробую прогнать твои команды, но что-то не думаю
SO> что телодвижения будут разные.
там их просто должно стать меньше. Но надо привыкать к причудливому workflow,
а это надо не сразу на большом проекте, да еще и не использующем изначально.
Вот то что я тебе показал - отличный, кстати, повод для экспериментов
(privacy ext, подменяющий загрузку всяких jquery с хз чьих cdn локальной
копией. Идея хорошая, автор лох (или его и так неплохо кормят).)

> Alex

--- ifmail v.2.15dev5.4

Slawa Olhovchenkov написал(а) к Eugene Grosbein в May 18 14:32:58 по местному времени:

Нello Eugene!

14 May 18, Eugene Grosbein writes to Slawa Olhovchenkov:

EG>>> Но почему? Линейная запись на graid (RAID10) без лишних конкурирующих
EG>>> запросов, в два потока, должна идти со скоростью записи на страйп,
EG>>> то есть вдвое быстрее, чем на один диск.
SO>> откуда взялось:
SO>> а) два потока
SO>> б) без лишних конкурирующих запросов
SO>> если мы говорим о синкании после замены диска?
EG> Я имел в виду спокойную починку сломавшейся железки после снятия
EG> с неё нагрузки до окончания починки.

зачем ты это имел ввиду, если я уже сказал, что не вывожу из продакшена?

EG> Количество потоков настраивается.

что ты несешь? какое еще количество потоков для синкания gmirror?

SO>>>> ты покажу суммарную производительность при паралельном чтении из
SO>>>> 400
SO>>>> различных файлов.
EG>>> То есть речь идёт об дергании головками НDD? А i/o scheduling
EG>>> пробовал?
SO>> а зачем? я и освещать и камлать с бубном не пробовал -- толк-то
SO>> примерно одинаковый.

EG> Ну почитай PDF-то. Вот imp & Netflix озаботились, написали и даже привели
EG> код к публекуемому виду и запушили в основное дерево. Я бы на твоём месте
EG> как минимум почитал.

ну так почитай. я время терять не буду.

SO>> но ты можешь меня попробовать переубедить, проделав эксперимент.
SO>> какой -- я уже гворил.
EG> У меня не на чем экспериментировать, я не в вашем с Netflix положении,
EG> даже 10G нету на тестовых железках.

зачем тебе для эксперемента вообще сеть? я же сказал -- в 400 потоков читаешь 400 файлов.
все что для этого надо -- диск одна штука, файлы 400 штук.

SO>>>>>> 3) gjournal: ну лучше я не буду не коментировать
EG>>>>> А ты покомментируй. У тебя же read-mostly нагрузка,
EG>>>>> почему бы и не gjournal?
SO>>>> костыли и подпорки.
SO>>>> кеширование на SSD мне тоже самому из костылей и шелов городить?
EG>>> Ну так я и спрашивал, для чего ZFS. Теперь понятно,
EG>>> для L2ARC на SSD и агрессивного кеширования диска.
SO>> а, т.е. тебя интересуют не мои ответы, а твои фантазии. ок.
EG> Меня интересновал нормальный и по возможности коротки ответ,
EG> почему ZFS. В общем, я его получил в итоге.

ты получил свои фантазии, пороезав мой ответ по своему усмотрению.
единственное что меня удивляет -- почему ты не предложил наколхозить скриптами и union_fs аналог l2arc.

... Нет, ребята, пулемета я вам не дам
--- GoldED+/BSD 1.1.5-b20110223-b20110223

Slawa Olhovchenkov написал(а) к Alex Korchmar в May 18 14:37:14 по местному времени:

Нello Alex!

14 May 18, Alex Korchmar writes to Slawa Olhovchenkov:

SO>>>> не тот нынче год на дворе, что бы в этом месте диск экономить
AK>>> у меня freebsd на low-end виртуалках, и, по сумме факторов, вряд ли с
AK>>> них когда-либо выберется.
SO>> и почему ты не пользуешься бинарниками?
AK> неудобно раздавать, это тебе не линукс, где все собирается в пакеты.

да ладно тебе, отлично все собирается:

total 518067
-rw-r--r-- 1 root wheel 1343 May 4 17:39 MANIFEST
-rw-r--r-- 1 root wheel 48983524 May 4 17:39 base-dbg.txz
-rw-r--r-- 1 root wheel 105668088 May 4 17:39 base.txz
-rw-r--r-- 1 root wheel 1428748 May 4 17:39 doc.txz
-rw-r--r-- 1 root wheel 1898496 May 4 17:43 etcupdate.tar
-rw-r--r-- 1 root wheel 66276028 May 4 17:39 kernel-dbg.txz
-rw-r--r-- 1 root wheel 56669732 May 4 17:39 kernel.VSTREAM-dbg.txz
-rw-r--r-- 1 root wheel 31251540 May 4 17:39 kernel.VSTREAM.txz
-rw-r--r-- 1 root wheel 36408852 May 4 17:39 kernel.txz
-rw-r--r-- 1 root wheel 12465356 May 4 17:39 lib32-dbg.txz
-rw-r--r-- 1 root wheel 18857636 May 4 17:39 lib32.txz
-rw-r--r-- 1 root wheel 147139192 May 4 17:39 src.txz
-rw-r--r-- 1 root wheel 4310960 May 4 17:39 tests.txz

забирать как угодно можно

SO>> я сегодня попробую прогнать твои команды, но что-то не думаю
SO>> что телодвижения будут разные.
AK> там их просто должно стать меньше.

сомневаюсь. из этого списка не очевидно что их меньше. скорее больше.

AK> Но надо привыкать к причудливому workflow,

ну как всегда.

AK> а это надо не сразу на большом проекте, да еще и не использующем
AK> изначально. Вот то что я тебе показал - отличный, кстати, повод для
AK> экспериментов (privacy ext, подменяющий загрузку всяких jquery с хз
AK> чьих cdn локальной копией. Идея хорошая, автор лох (или его и так
AK> неплохо кормят).)

... В жизни все не так, как на самом деле.
--- GoldED+/BSD 1.1.5-b20110223-b20110223

Alex Korchmar написал(а) к Eugene Grosbein в May 18 14:48:46 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote:

AK>> не более), не пользуются "новая папка" и не пишут скриптов с ручным
AK>> разбором по логу их запуска для того, что давно принято делать нормальными
AK>> средствами.
EG> Ну как видишь, пользуются и пишут.
наоборот. это явно подтверждение неумения. Команды с пятого на десятое выучены,
а зачем они - так в толк и не взято.

собственно, раздача апдейтов конфигурации ssh'ем и make вместо svn
up из соседнего треда (если уж chef/puppet/ansible показались
рукожопыми кривыми комбайнами) она о том же. vcs прошли мимо тебя.


> Alex

--- ifmail v.2.15dev5.4

Eugene Grosbein написал(а) к Alex Korchmar в May 18 19:48:16 по местному времени:

14 мая 2018, понедельник, в 12:11 NOVT, Alex Korchmar написал(а):

AK>>> там проблема ровно в том, что к моменту когда ты сможешь merge, даже если
AK>>> тебе это позволено, у тебя цифирка после "новая папка" будет трехзначной.
EG>> Нет, не будет. Нет никакого смысла "коммитить" каждое изменение
EG>> рабочего каталога aka "квантовать изменения", я же не пишу новый код.
AK> раз есть изменение или несколько взаимосвязанных - значит есть смысл.
AK> Потому что можно нечаянно потереть, можно захотеть посмотреть что
AK> было неделю назад.

А давай ты не будешь рассказывать мне, что мне хочется, а чего нет?

AK> Женя, это азбука использования vcs, они только для этого и
AK> были придуманы.

Это всё я использовал и это полезно при совершенно ином характере
и объёме деятельности, чем у меня.

Eugene
--- slrn/1.0.2 (FreeBSD)

Alex Korchmar написал(а) к Slawa Olhovchenkov в May 18 15:04:17 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Slawa Olhovchenkov <Slawa.Olhovchenkov@f500.n5030.z2.fidonet.org> wrote:

SO> да ладно тебе, отлично все собирается:
ну оно же придумалось года полтора назад, причем глюков и багов там было
немеряно.
И объем такой, что сработают триггеры (у линуксов все порезано поштучно,
там не надо всю систему обновлять из-за проблемы в конкретном bash)

SO> сомневаюсь. из этого списка не очевидно что их меньше. скорее больше.
AK>> Но надо привыкать к причудливому workflow,
SO> ну как всегда.
ну хошь не причудливый - смотри в hg. Но он мертвый - сосальными сеточками
не поддерживается, и не будет.
К тому же на пихоне.
А без сосальных нынче не принято. Собственно, я тебе показал как
раз пример сосального взаимодействия - кто-то предложил полезное
улучшение, ему велели отсосать. К счастью, пулл-реквесты никуда не
исчезают.


> Alex

--- ifmail v.2.15dev5.4

Slawa Olhovchenkov написал(а) к Alex Korchmar в May 18 15:39:20 по местному времени:

Нello Alex!

14 May 18, Alex Korchmar writes to Slawa Olhovchenkov:

SO>> да ладно тебе, отлично все собирается:
AK> ну оно же придумалось года полтора назад, причем глюков и багов там было
AK> немеряно.

а? лет 10. это make release.

AK> И объем такой, что сработают триггеры (у линуксов все порезано

какие тригеры?

AK> поштучно, там не надо всю систему обновлять из-за проблемы в
AK> конкретном bash)

зато там каждый раз приключение "сломается или нет после апгрейда"

... Виpус детям не игpушка, не товаpищ и не дpуг!
--- GoldED+/BSD 1.1.5-b20110223-b20110223

Eugene Grosbein написал(а) к Slawa Olhovchenkov в May 18 20:32:04 по местному времени:

14 мая 2018, понедельник, в 12:32 NOVT, Slawa Olhovchenkov написал(а):

EG>> Количество потоков настраивается.
SO> что ты несешь? какое еще количество потоков для синкания gmirror?

Обычное. gmirror синкает зеркало в несколько потоков, по дефолту в два,
но это настраивается. man gmirror, собственно:

kern.geom.mirror.sync_requests
The number of parallel I/O requests used while synchronizing a
mirror. This parameter may only be configured as a
loader.conf(5) tunable.

Но я вообще-то имел в виду RAID10 через graid (в нём тоже настраивается),
а не gmirror.

Eugene
--
http://grosbeyn.moikrug.ru/
--- slrn/1.0.2 (FreeBSD)