ARC max size

Eugene Grosbein написал(а) к Alex Korchmar в May 18 00:44:12 по местному времени:

12 мая 2018, суббота, в 16:41 NOVT, Alex Korchmar написал(а):

EG>> Ты опять всё перепутал. Когда я занимался девелопментом и выкатыванием
EG>> софта на C в продакшн, я использовал собственный репозиторий
AK> ок, 96го года. Или когда там появился cvs.
AK> А на дворе - 2018й. Проекты стали большие, и как правило - не твои, твоего
AK> там только несколько правок.

Мы же говорим о собственных действиях, а не о действиях большого проекта.
Моих собственных действий там именно что несколько правок
к неподдерживаемому участку кода.

Eugene
--
Поэты - страшные люди. У них все святое.
--- slrn/1.0.2 (FreeBSD)

Eugene Grosbein написал(а) к Alex Korchmar в May 18 00:45:53 по местному времени:

12 мая 2018, суббота, в 16:55 NOVT, Alex Korchmar написал(а):

AK> и сколько у нас на свете автораздатчиков порнухи с лошадками,

Ты не поверишь. Именно что для порнухи (и с лошадками в том числе,
наверное) - дохренища CDN-ов развелось.

Eugene
--
Choose no career
--- slrn/1.0.2 (FreeBSD)

Slawa Olhovchenkov написал(а) к Alex Korchmar в May 18 20:06:16 по местному времени:

Нello Alex!

12 May 18, Alex Korchmar writes to Slawa Olhovchenkov:

SO>> так ты покажи технологию-то на маленьком,
AK> зачем? Мне, если ты не понял, было нужно решение для себя, любимого.

ну что бы было видно что слова не пустые. а то есть только утверждения, что "есть технология", а никакой внятной демонстрации этой технологии нет.

SO>> складывается впечетление, что никакой технологии-то и нет.
AK> https://git.kernel.org/
AK> большой проект, миллионы контрибуторов, у каждого свой отдельный крохотный
AK> кусочек.

какая-то свалка исходников. на беглый взгляд ничем от svnweb.freebsd.org не отличается.

SO>> нет. при условии что линейно читается суммарно больше блока, а уж
SO>> какими
AK> бля.
AK> Обработано: 11261
AK> Размер обработанных файлов: 24.61 МБ
AK> (обработало оно их, если что, в основном командой rm, но от этого
AK> ни разу не легче - раз было чего rm, оно успело записаться и хотя
AK> бы один раз - прочитаться. Впрочем, systat говорит что сильно и не по
AK> одному.)

AK> как думаешь, мне есть польза от arc compress, сжатия дисков и prefetch?

понятия не имею, данных мало.
но при 2КБ на файл -- не думаю.

SO>> нет. обычный VOD. ничего специфичного.
AK> и сколько у нас на свете автораздатчиков порнухи с лошадками, а сколько -
AK> bitrix'ов, с которого я тебе выдернул текущий расклад?

ну и пусть себе сидит в ARC

... Не говори глупостей - враг подслушивает!
--- GoldED+/BSD 1.1.5-b20110223-b20110223

Slawa Olhovchenkov написал(а) к Eugene Grosbein в May 18 20:13:10 по местному времени:

Нello Eugene!

13 May 18, Eugene Grosbein writes to Slawa Olhovchenkov:

SO>>>> т.е. увеличение блока (и потребления памяти) в 16 раз дает рост
SO>>>> производительности чтения с диска только в 2.5 раза.
SO>>>> еще раз: у меня все посчитанно.
EG>>> Я так понимаю, у тебя продакшн в виде CDN (?)
SO>> CDN для VOD.
EG>>> Предположительно контент нежмущийся, тогда зачем вообще ZFS?
SO>> а что еще? вариантов-то не было. да и сейчас разве что с XFS
SO>> поебаться.

EG> UFS2+gjournal over stripe?

я знал что ты это хуйню предложишь.
1) страйп: при умирании диска все идет нахуй
2) UFS2: максимальный размер блока 64КБ (ЕМНИП), значит производительность с одного шпинделя 9МБ/с, вместо 50МБ/с на мегабайтном блоке в случае ZFS
3) gjournal: ну лучше я не буду не коментировать

... Стояла тихая Ваpфоломеевская ночь...
--- GoldED+/BSD 1.1.5-b20110223-b20110223

Alex Korchmar написал(а) к Slawa Olhovchenkov в May 18 22:33:36 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Slawa Olhovchenkov <Slawa.Olhovchenkov@f500.n5030.z2.fidonet.org> wrote:

SO> какая-то свалка исходников. на беглый взгляд ничем от svnweb.freebsd.org не
SO> отличается.
кроме удобства работы с ними, ага. Если не сводить всю работу к скачиванию
новой версии.

SO> понятия не имею, данных мало.
SO> но при 2КБ на файл -- не думаю.
они разные. Где 100, где и килобайта нет. prefetch это все всосет, потому
что читается-то блоками, а не посекторно. Без prefetch - "лишнее" тут же
роняется на пол. С ним - остается в arc на случай если вдруг понадобится.

тесты, во всяком случае, говорят о таком поведении.

а поскольку на диске оно сжатое - то и в arc остается сжатое, а распакуется
как нибудь, при случае, если на самом деле попросят.

> Alex

--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Eugene Grosbein в May 18 22:50:36 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote:

AK>> А на дворе - 2018й. Проекты стали большие, и как правило - не твои, твоего
AK>> там только несколько правок.
EG> Мы же говорим о собственных действиях, а не о действиях большого проекта.
ну? Оно для этого и предназначено.
Хранит твои правки без костыльных упражнений с make, позволяя тебе работать
не с "правками", а с кодом.

cvs так не умеет.


> Alex

--- ifmail v.2.15dev5.4

Eugene Grosbein написал(а) к Slawa Olhovchenkov в May 18 05:09:19 по местному времени:

12 мая 2018, суббота, в 18:13 NOVT, Slawa Olhovchenkov написал(а):

EG>> UFS2+gjournal over stripe?
SO> я знал что ты это хуйню предложишь.
SO> 1) страйп: при умирании диска все идет нахуй

А у тебя нету разве резервирования per-box,
ну то есть если что угодно в ящике сдохло
(материнка/бп/дисковая подсистема), то его нагрузку
берут другие ящики, а этот неспешно ремонтируется
и перезаливается? Если нет, ну тогда over RAID10
вместо страйпа.

SO> 2) UFS2: максимальный размер блока 64КБ (ЕМНИП),

Да.

SO> значит производительность с
SO> одного шпинделя 9МБ/с, вместо 50МБ/с на мегабайтном блоке в случае ZFS

Это может у ZFS девять мегабайт в секунду - не мерял, не знаю.
А вот нетюненная FreeBSD при чтении файла блоками по 64k
реально читает по MAXPНYS=128K - видимо, из-за read-ahead,
который нынче по дефолту vfs.read_max=64 (в блоках).
Кстати, на одном сервере у меня уменьшено до 8, как было по дефолту
в восьмерке. Из-за характера нагрузки на этом сервере нежелательно
тратить i/o bandwidth настолько щедро.

В итоге systat -vm 3 показывает чтение с диска по скоростью
130-134 мегабайта в секунду вв время работы команды:

# time dd bs=64k if=file-53GB of=/dev/null
876224+0 records in
876224+0 records out
57424216064 bytes transferred in 420.077273 secs (136699174 bytes/sec)

real 7m0,079s
user 0m0,457s
sys 0m28,201s

SO> 3) gjournal: ну лучше я не буду не коментировать

А ты покомментируй. У тебя же read-mostly нагрузка,
почему бы и не gjournal?

Eugene
--- slrn/1.0.2 (FreeBSD)

Eugene Grosbein написал(а) к Alex Korchmar в May 18 05:11:05 по местному времени:

12 мая 2018, суббота, в 20:50 NOVT, Alex Korchmar написал(а):

AK>>> А на дворе - 2018й. Проекты стали большие, и как правило - не твои,
AK> твоего
AK>>> там только несколько правок.
EG>> Мы же говорим о собственных действиях, а не о действиях большого проекта.
AK> ну? Оно для этого и предназначено.

Мы ходим по кругу. Мне не надо мои правки хранить с историей в VCS,
за исключением тех, которые опубликованы путём коммита в публичный
репозиторий и вот там всё будет.

AK> Хранит твои правки без костыльных упражнений с make, позволяя тебе работать
AK> не с "правками", а с кодом.

Eugene
--
Поэты - страшные люди. У них все святое.
--- slrn/1.0.2 (FreeBSD)

Eugene Grosbein написал(а) к Alex Korchmar в May 18 05:14:22 по местному времени:

12 мая 2018, суббота, в 20:33 NOVT, Alex Korchmar написал(а):

AK> они разные. Где 100, где и килобайта нет. prefetch это все всосет, потому
AK> что читается-то блоками, а не посекторно. Без prefetch - "лишнее" тут же
AK> роняется на пол. С ним - остается в arc на случай если вдруг понадобится.

А если не понадобится, то мы потратили вовсе не бесконечный запас
по скорости i/o дисков впустую: https://dadv.livejournal.com/204385.html

Eugene
--
Поэты - страшные люди. У них все святое.
--- slrn/1.0.2 (FreeBSD)

Slawa Olhovchenkov написал(а) к Alex Korchmar в May 18 23:33:12 по местному времени:

Нello Alex!

12 May 18, Alex Korchmar writes to Slawa Olhovchenkov:

SO>> какая-то свалка исходников. на беглый взгляд ничем от
SO>> svnweb.freebsd.org не отличается.
AK> кроме удобства работы с ними, ага. Если не сводить всю работу к скачиванию
AK> новой версии.

какой раз я уже прошу тебя продемонстрировать удобство на мальеньком примере?
но все сводится к:

армяне лучше!
чем лучше?
чем грузины!

SO>> понятия не имею, данных мало.
SO>> но при 2КБ на файл -- не думаю.
AK> они разные. Где 100, где и килобайта нет. prefetch это все всосет, потому
AK> что читается-то блоками, а не посекторно. Без prefetch - "лишнее" тут же
AK> роняется на пол. С ним - остается в arc на случай если вдруг понадобится.

AK> тесты, во всяком случае, говорят о таком поведении.

AK> а поскольку на диске оно сжатое - то и в arc остается сжатое, а распакуется
AK> как нибудь, при случае, если на самом деле попросят.

ты говоришь либо фигню либо упускаешь детали. zfs читает не посекторно, а блоками.
если файл на 100кб и ты специально ничего не резал, то он как раз в один блок и помещается и читаться будет за один раз.
без всякого prefetch. так что либо у тебя что-то там еще либо что-то не то намерялось.

... Пpи звyках Коннекта теpяет волю
--- GoldED+/BSD 1.1.5-b20110223-b20110223