cp -z

Andrew Kant написал(а) к All в Oct 18 20:16:28 по местному времени:

Нello All!

А в бздях есть опция -z у команды cp (fast copy on zfs)?

Если есть и кто-то пользуется, можете рассказать свои впечатления?
На солярке запустил копию больших файлов (по 16ГБ каждый) - так процессор сходит с ума, и скорость копирования в сумме не очень, а может даже медленнее, чем обычная. Правда, свободное место после копии фактически не уменьшилось, что очень радует.

Good bye!
Andrew

--- GoldED+/W32 1.1.4.7

Alex Korchmar написал(а) к Andrew Kant в Oct 18 23:14:49 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Andrew Kant <Andrew.Kant@p1.f83.n469.z2.fidonet.org> wrote:

> А в бздях есть опция -z у команды cp (fast copy on zfs)?
нету. Потому что это "копия" рефлинком, а она есть только у орацла.
Правда, сами рефлинки переизобрели заново в zol, но юзер-спейс часть так
и не осилили дописать.

> На солярке запустил копию больших файлов (по 16ГБ каждый) - так процессор
> сходит с ума, и скорость копирования в сумме не очень, а может даже медленнее,
у тебя явные проблемы с хранилкой. Либо добавляй zlog, либо в консерватории
что-то править надо.


> Alex

--- ifmail v.2.15dev5.4

Eugene Grosbein написал(а) к Andrew Kant в Oct 18 04:28:59 по местному времени:

24 окт. 2018, среда, в 18:16 NOVT, Andrew Kant написал(а):

AK> А в бздях есть опция -z у команды cp (fast copy on zfs)?
AK> Если есть и кто-то пользуется, можете рассказать свои впечатления?
AK> На солярке запустил копию больших файлов (по 16ГБ каждый) - так процессор
AK> сходит с ума, и скорость копирования в сумме не очень, а может даже медленнее,
AK> чем обычная. Правда, свободное место после копии фактически не уменьшилось, что
AK> очень радует.

cp -z это оболочка над появившейся только в этом году соляркиной
функцией reflink(3C): https://docs.oracle.com/cd/E88353_01...eflink-3c.html

По сути, это hardlink, только позволяет линковать данные не только
внутри одной fs, но и внутри одного пула ZFS и имеет свои ограничения -
не работает, если линк пересекает границы fs со включенным шифрованием.

На фре (пока) нету reflink() и поэтому нету cp -z.

Eugene
--- slrn/1.0.3 (FreeBSD)

Andrew Kant написал(а) к Eugene Grosbein в Oct 18 01:12:30 по местному времени:

Нello Eugene!

Thursday October 25 2018 04:28, Eugene Grosbein wrote to Andrew Kant:

AK>> А в бздях есть опция -z у команды cp (fast copy on zfs)?
AK>> Если есть и кто-то пользуется, можете рассказать свои впечатления?
AK>> На солярке запустил копию больших файлов (по 16ГБ каждый) - так
AK>> процессор сходит с ума, и скорость копирования в сумме не очень, а
AK>> может даже медленнее, чем обычная. Правда, свободное место после
AK>> копии фактически не уменьшилось, что очень радует.

EG> cp -z это оболочка над появившейся только в этом году соляркиной
EG> функцией reflink(3C):
EG> https://docs.oracle.com/cd/E88353_01...eflink-3c.html

EG> По сути, это hardlink, только позволяет линковать данные не только
Не, это не хардлинк, это больше похоже на дедупликацию - изначально файлы ссылаются на одни и те-же блоки, но каждый из них можно менять отдельно, и при этом второй файл остается без изменений. Правда, после изменения места становится меньше на сумму измененных блоков.

Good bye!
Andrew

--- GoldED+/W32 1.1.4.7

Andrew Kant написал(а) к Alex Korchmar в Oct 18 07:37:58 по местному времени:

Нello Alex!

Wednesday October 24 2018 23:14, Alex Korchmar wrote to Andrew Kant:

>> А в бздях есть опция -z у команды cp (fast copy on zfs)?
AK> нету. Потому что это "копия" рефлинком, а она есть только у орацла.
AK> Правда, сами рефлинки переизобрели заново в zol, но юзер-спейс часть так
AK> и не осилили дописать.

>> На солярке запустил копию больших файлов (по 16ГБ каждый) - так
>> процессор сходит с ума, и скорость копирования в сумме не очень, а
>> может даже медленнее,
AK> у тебя явные проблемы с хранилкой. Либо добавляй zlog, либо в
AK> консерватории что-то править надо.

Но почему эти проблемы проявляются только при cp -z? при cp с теми-же источником и назначением, но без -z, процессор тих и спокоен и копия идет быстрее? Есть какие-то метрики, на которые надо посмотреть?


Good bye!
Andrew

--- GoldED+/W32 1.1.4.7

Alex Korchmar написал(а) к Andrew Kant в Oct 18 19:51:51 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Andrew Kant <Andrew.Kant@p1.f83.n469.z2.fidonet.org> wrote:

> AK> у тебя явные проблемы с хранилкой. Либо добавляй zlog, либо в
> AK> консерватории что-то править надо.
> Но почему эти проблемы проявляются только при cp -z? при cp с теми-же
потому что других источников нагрузки, видимо, пока не случалось.

> источником и назначением, но без -z, процессор тих и спокоен и копия идет
> быстрее? Есть какие-то метрики, на которые надо посмотреть?
iostat (или что там у нее вместо)? свободная память? метаданные не могут
обновляться тяжелее чем данные, где-то в консерватории что-то явно не так.

compression/encryption/dedup случайно не включены?


> Alex

--- ifmail v.2.15dev5.4

Andrew Kant написал(а) к Alex Korchmar в Oct 18 21:01:06 по местному времени:

Нello Alex!

Thursday October 25 2018 19:51, Alex Korchmar wrote to Andrew Kant:

AK> From: Alex Korchmar <noreply@linux.e-moe.ru>

AK> Andrew Kant <Andrew.Kant@p1.f83.n469.z2.fidonet.org> wrote:

>> AK> у тебя явные проблемы с хранилкой. Либо добавляй zlog, либо в
>> AK> консерватории что-то править надо.
>> Но почему эти проблемы проявляются только при cp -z? при cp с теми-же
AK> потому что других источников нагрузки, видимо, пока не случалось.
Не понял, причем тут другие источники нагузки. Я специально запускаю только это, чтоб было ясно, что другие не влияют.


>> источником и назначением, но без -z, процессор тих и спокоен и
>> копия
>> идет быстрее? Есть какие-то метрики, на которые надо посмотреть?
AK> iostat (или что там у нее вместо)? свободная память? метаданные не могут
AK> обновляться тяжелее чем данные, где-то в консерватории что-то явно не
AK> так.

AK> compression/encryption/dedup случайно не включены?
выключены.

вот память:

# echo "::memstat" |mdb -k
Usage Type/Subtype Pages Bytes %Tot %Tot/%Subt
---------------------------- ---------------- -------- ----- -----------
Kernel 1627420 12.4g 9.8%
Regular Kernel 1336147 10.1g 8.0%/82.1%
Defdump prealloc 291273 2.2g 1.7%/17.8%
ZFS 11554871 88.1g 69.8%
User/Anon 2833147 21.6g 17.1%
Exec and libs 27938 218.2m 0.1%
Page Cache 13886 108.4m 0.0%
Free (cachelist) 15320 119.6m 0.0%
Free 475258 3.6g 2.8%
Total 16547840 126.2g 100%

То есть жаловаться на нехватку нельзя.

Вот что происходит при копировании в обычном режиме (файл на 16ГБ):

# time cp 05.dbf ./1/

real 1m2.807s
user 0m0.020s
sys 0m57.595s

# zpool iostat data 1
capacity operations bandwidth
pool alloc free read write read write
---- ----- ----- ----- ----- ----- -----
data 3.20T 2.61T 12.8K 0 205M 0
data 3.20T 2.61T 15.2K 23 242M 240K
data 3.20T 2.61T 8.08K 66.5K 129M 1.03G
data 3.20T 2.61T 16.9K 0 269M 0
data 3.20T 2.61T 16.3K 23 260M 240K
data 3.20T 2.61T 16.8K 0 268M 0
data 3.20T 2.61T 17.1K 0 273M 0
data 3.20T 2.61T 7.80K 77.6K 124M 1.19G
data 3.20T 2.61T 16.9K 0 269M 0
data 3.20T 2.61T 16.4K 19 261M 224K
data 3.20T 2.61T 14.1K 26 225M 252K
data 3.20T 2.61T 16.6K 0 265M 0
data 3.20T 2.61T 9.02K 72.6K 144M 1.12G
data 3.20T 2.61T 13.2K 24 211M 256K
data 3.20T 2.61T 14.1K 0 225M 0

То есть что-то читает (много), столько-же пишет, немного буферизируя. При этом процессор используется в меру:

last pid: 18694; load avg: 4.93, 2.21, 1.20; up 1+01:32:46 20:36:35
410 processes: 407 sleeping, 3 on cpu
CPU states: 95.2% idle, 0.1% user, 4.8% kernel, 0.0% stolen, 0.0% swap
Kernel: 48763 ctxsw, 4013 trap, 20062 intr, 6311 syscall, 3951 flt
Memory: 126G phys mem, 4420M free mem, 16G total swap, 16G free swap

PID USERNAME NLWP PRI NICE SIZE RES STATE TIME CPU COMMAND
18589 root 1 10 0 18M 11M cpu/116 1:36 0.71% cp


А вот что происходит, когда с -z:

# time cp -z 06.dbf ./1/

real 0m57.521s
user 0m0.001s
sys 0m8.588s

# zpool iostat data 1
capacity operations bandwidth
pool alloc free read write read write
---- ----- ----- ----- ----- ----- -----
data 3.20T 2.61T 7 11 128K 83.9K
data 3.20T 2.61T 0 57.0K 0 228M
data 3.20T 2.61T 0 219K 0 877M
data 3.20T 2.61T 0 223K 0 891M
data 3.20T 2.61T 0 45.1K 0 180M
data 3.20T 2.61T 0 0 0 0
data 3.20T 2.61T 0 46.4K 0 186M
data 3.20T 2.61T 0 352K 16.0K 1.38G
data 3.20T 2.61T 479 20.9K 2.15M 87.0M
data 3.20T 2.61T 56.2K 3.88K 232M 48.4M
data 3.20T 2.61T 50.0K 1.54K 203M 12.4M
data 3.20T 2.61T 24.9K 925 100M 6.91M
data 3.20T 2.61T 0 6 16.0K 28.0K
data 3.20T 2.61T 0 16 0 212K
data 3.20T 2.61T 0 90.1K 0 360M
data 3.20T 2.61T 0 208K 0 833M
data 3.20T 2.61T 0 277K 0 1.08G
data 3.20T 2.61T 0 191K 0 764M
data 3.20T 2.61T 28.0K 1.81K 112M 20.1M
data 3.20T 2.61T 42.0K 1.56K 168M 12.6M
data 3.20T 2.61T 9.69K 505 38.8M 3.64M
data 3.20T 2.61T 1 6 32.0K 28.0K

last pid: 19852; load avg: 18.9, 7.96, 4.76; up 1+01:49:16 20:53:05
411 processes: 407 sleeping, 1 zombie, 3 on cpu
CPU states: 84.7% idle, 0.4% user, 15.0% kernel, 0.0% stolen, 0.0% swap
Kernel: 76461 ctxsw, 1810 trap, 38502 intr, 16382 syscall, 2 fork, 988 flt
Memory: 126G phys mem, 4749M free mem, 16G total swap, 16G free swap

PID USERNAME NLWP PRI NICE SIZE RES STATE TIME CPU COMMAND
19770 root 1 60 0 10M 5992K cpu/19 0:13 0.22% cp

То есть периодически что-то читает, довольно много, но всё-же меньше. Но пишет тоже довольно много. Процессор жрёт очень много, но жрёт его фоновый процесс от zfs.

Я не совсем понимаю, что оно может в таком объеме читать и писать? Метаданные? Почему так много?


Good bye!
Andrew

--- GoldED+/W32 1.1.4.7

Alex Korchmar написал(а) к Andrew Kant в Oct 18 19:33:57 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Andrew Kant <Andrew.Kant@p1.f83.n469.z2.fidonet.org> wrote:

> >> Но почему эти проблемы проявляются только при cp -z? при cp с теми-же
> AK> потому что других источников нагрузки, видимо, пока не случалось.
> Не понял, причем тут другие источники нагузки.
при том что это можно считать синтетическим тестом. А когда появится
настоящая нагрузка именно на метаданные - все рискует встать колом.

> То есть жаловаться на нехватку нельзя.
я бы посмотрел до и после копирования.

> Я не совсем понимаю, что оно может в таком объеме читать и писать?
> Метаданные? Почему так много?
при рефлинкинге кроме них ничего и не должно читаться.
Но при поблочном копировании оно тоже должно их прочитать, и сами данные
заодно. А потом еще и записать на новое место. Какая-то очень подозрительная
фигня.


> Alex

--- ifmail v.2.15dev5.4

Eugene Grosbein написал(а) к Alex Korchmar в Oct 18 12:09:38 по местному времени:

26 окт. 2018, пятница, в 17:33 NOVT, Alex Korchmar написал(а):

>> Я не совсем понимаю, что оно может в таком объеме читать и писать?
>> Метаданные? Почему так много?
AK> при рефлинкинге кроме них ничего и не должно читаться.
AK> Но при поблочном копировании оно тоже должно их прочитать, и сами данные
AK> заодно. А потом еще и записать на новое место. Какая-то очень подозрительная
AK> фигня.

read-modify-write такое может давать.

Eugene
--- slrn/1.0.3 (FreeBSD)