tar: Can't translate pathname to UTF-8

Alex Korchmar написал(а) к Eugene Grosbein в Mar 18 12:08:17 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote:

AK>> мне негде его распаковывать. линуксный говорит что /dev/stdin: POSIX tar
AK>> archive
AK>> но он соврет, не проверит.

EG> file у всех один и тот же, только версии могут быть разные.
EG> Но мне кажется, ты недоговариваешь что-то существенное -
EG> откуда в картинке вообще линукс?
повторяю в стодесятый раз: мне НЕГДЕ ворочать этот архив. Ни места, ни
мощностей.

EG> Ты почти наверняка что-то делаешь не так. Показывай, как именно
EG> ты запускал перловый скрипт в связке с tar, со всеми ключиками
find www/htdocs/ -name '[ёйцукенгшщзхъфывапролджэячсмитьбюЁЙЦУКЕНГШЩЗХЪФЫВАПРОЛДЖЭЯЧСМИТЬБЮ]' -print0 | tar --null -T - -czvf www/htdocs/russian.tar.gz
(зачем мне тут-то перловый скрипт? это нормальные файлы на диске, да, они в
utf8, и ls выводит их как таковые.)
LANG=
LCCTYPE=ruRU.UTF-8
LCCOLLATE=ruRU.UTF-8
LC_TIME="C"
LC_NUMERIC="C"
LC_MONETARY="C"
LC_MESSAGES="C"
LC_ALL=

получаем вот это:
http://linux.e-moe.ru/wrk/freeshit.png - полагаю, содержимое архива можно
уже не проверять, а сразу стереть. В любом случае, у меня нет такого тара,
чтобы им потом распаковывать.

и нет, это не gnu tar (то есть это возможно и gnu, но до неузнаваемости
изуродованный фришниками - настоящий имеет совершенно другой формат вывода,
для начала, не имеет никаких "extensions" и не знает, что с ними делать, и
даже сообщения об ошибках у него другие)
Насколько я себя помню, именно этот уродец всю жизнь и был таром по умолчанию,
до эпохи героической борьбы с gnu.

EG> последнего и не забудь сказать, как делал исходные файлы.
исходные файлы прекрасно показываются ls русскими буковками.

говно на экране - ни разу не валидный юникод.


> Alex

--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Alex Korchmar в Mar 18 12:36:18 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Alex Korchmar <noreply@linux.e-moe.ru> wrote:

EG>> Это дело не tar, а libarchive, оберткой над которым нынче является tar,
EG>> а ещё точнее дефолтный формат создаваемого архива, в котором положено
EG>> иметь всё в UTF-8.
AK> а локаль-то оно умеет проверять, или как обычно?
сам спросил, сам и отвечаю - не умеет, вне зависимости от локали, распаковывает
тот utf (или то что оно считает utf) который в архиве.

Чорт, придется руками все переименовывать.


> Alex
P.S. это речь уже про тот tar, который у нас сейчаc.

--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Alex Korchmar в Apr 18 21:44:39 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Alex Korchmar <noreply@linux.e-moe.ru> wrote:

AK>> а локаль-то оно умеет проверять, или как обычно?
AK> сам спросил, сам и отвечаю - не умеет, вне зависимости от локали, распаковывает
AK> тот utf (или то что оно считает utf) который в архиве.
AK> Чорт, придется руками все переименовывать.
внезапно: linux'ный unzip вполне справился с распаковкой .zip, созданного
на неведомой (похоже jail от чего-то типа 6) fbsd.
Это info-zip'овский unzip, а не то неведомое дерьмо, которое в дереве фри,
и он, представьте себе, умеет проверять locale (при том что у меня система
2011го года выпуска, чуть помоложе той шестой).
(небольшая ложечка дегтя, заставившая на последнем этапе все же использовать
convmv - локали cp1251 в линуксах, традиционно, не завезли)

info-unzip из портов фри, хотя и заявляет про сборку с iconv, нихрена не
работает, независимо от LC_ALL распаковывая utf8. Как и какой идиот этого
добился - пусть Женя копается, если ему интересно.


> Alex

--- ifmail v.2.15dev5.4

Victor Sudakov написал(а) к Alex Korchmar в Apr 18 12:29:00 по местному времени:

Dear Alex,

01 Apr 18 21:44, Alex Korchmar wrote to Alex Korchmar:

AK> info-unzip из портов фри, хотя и заявляет про сборку с iconv, нихрена
AK> не работает, независимо от LC_ALL распаковывая utf8. Как и какой идиот
AK> этого добился - пусть Женя копается, если ему интересно.

Он не в зависимости от локали, ему надо ключами указывать кодировку в архиве.
Впрочем у меня почему-то работает и так, архив 1.zip создавался WinRAR-ом:

$ unzip -t 1.zip
Archive: 1.zip
testing: 1/ OK
testing: 1/Русское имя.txt OK
testing: 1/Ещё одно Русское имя.txt OK
No errors detected in compressed data of 1.zip.

unzip-6.0_7
Name : unzip
Version : 6.0_7
Installed on : Sat May 13 10:51:04 2017 +07
Origin : archivers/unzip
Architecture : FreeBSD:10:i386
Prefix : /usr/local
Categories : archivers russian
Licenses : Info-ZIP
Maintainer : ehaupt@FreeBSD.org
WWW : http://www.info-zip.org/UnZip.html
Comment : List, test, and extract compressed files from a ZIP archive
Options :
CНINESE : off
DOCS : on
ICONV : on
KOREAN : off
RUSSIAN : on
Annotations :
cpe : cpe:2.3:a:info-zip:unzip:6.0:::::freebsd10:x86:7
repo_type : binary
repository : sibptus
Flat size : 293KiB
Description :



Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20160322-b20160322

Alex Korchmar написал(а) к Victor Sudakov в Apr 18 10:26:30 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Victor Sudakov <Victor.Sudakov@f49.n5005.z2.fidonet.org> wrote:

VS> Он не в зависимости от локали, ему надо ключами указывать кодировку в архиве.
у него нет таких ключей. "кодировки" windows/dos - это для перекодирования
файлов, а не их имен.

VS> Впрочем у меня почему-то работает и так, архив 1.zip создавался WinRAR-ом:

VS> $ unzip -t 1.zip
VS> Archive: 1.zip
VS> testing: 1/ OK
VS> testing: 1/Русское имя.txt OK
VS> testing: 1/Ещё одно Русское имя.txt OK
VS> No errors detected in compressed data of 1.zip.
кодировка терминала-то какая?
Если у тебя по кругу utf, оно так и работает.


> Alex

--- ifmail v.2.15dev5.4

Victor Sudakov написал(а) к Alex Korchmar в Apr 18 15:52:08 по местному времени:

Dear Alex,

02 Apr 18 10:26, Alex Korchmar wrote to me:
VS>> Он не в зависимости от локали, ему надо ключами указывать
VS>> кодировку в архиве.
AK> у него нет таких ключей. "кодировки" windows/dos - это для
AK> перекодирования файлов, а не их имен.

И в страшном сне не приснится мне архиватор, который вздумает перекодировать файлы (в смысле их содержимое).

По крайней мере если сделать "unzip -t -O cp1251 1.zip" в том же примере, то имена файлов превращаются в каракули.

VS>> Впрочем у меня почему-то работает и так, архив 1.zip создавался
VS>> WinRAR-ом:

VS>> $ unzip -t 1.zip
VS>> Archive: 1.zip
VS>> testing: 1/ OK
VS>> testing: 1/Русское имя.txt OK
VS>> testing: 1/Ещё одно Русское имя.txt OK
VS>> No errors detected in compressed data of 1.zip.
AK> кодировка терминала-то какая?
AK> Если у тебя по кругу utf, оно так и работает.

$ echo $LANG
ru_RU.KOI8-R

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20160322-b20160322

Eugene Grosbein написал(а) к Alex Korchmar в Apr 18 17:17:26 по местному времени:

01 апр. 2018, воскресенье, в 19:44 NOVT, Alex Korchmar написал(а):

AK>>> а локаль-то оно умеет проверять, или как обычно?
AK>> сам спросил, сам и отвечаю - не умеет, вне зависимости от локали,
AK> распаковывает
AK>> тот utf (или то что оно считает utf) который в архиве.
AK>> Чорт, придется руками все переименовывать.
AK> внезапно: linux'ный unzip вполне справился с распаковкой .zip, созданного
AK> на неведомой (похоже jail от чего-то типа 6) fbsd.
AK> Это info-zip'овский unzip, а не то неведомое дерьмо, которое в дереве фри,

ВНЕЗАПНО файл оказывается вовсе не tar, а zip!
И это через сколько недель после начала треда?!

И в "дереве фри" нет и не было утилиты для создания zip,
а unzip "в дереве фри" появился только с восьмерки.

AK> info-unzip из портов фри, хотя и заявляет про сборку с iconv, нихрена не
AK> работает, независимо от LC_ALL распаковывая utf8. Как и какой идиот этого
AK> добился - пусть Женя копается, если ему интересно.

Нет, спасибо, про info-zip напиши лучше PR - у него свой маинтейнер есть.

Eugene
--
Прекрасны тонко отшлифованная драгоценность; победитель, раненный в бою;
слон во время течки; река, высыхающая зимой; луна на исходе; юная женщина,
изнуренная наслаждением, и даятель, отдавший все нищим. (Дхарма)
--- slrn/1.0.2 (FreeBSD)

Alex Korchmar написал(а) к Eugene Grosbein в Apr 18 14:32:37 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote:

AK>> Это info-zip'овский unzip, а не то неведомое дерьмо, которое в дереве фри,
EG> ВНЕЗАПНО файл оказывается вовсе не tar, а zip!
внезапно, у меня есть доступ к мертвой системе, я забил на попытки хоть
что-то скопировать оттуда таром, и пытаюсь найти хоть один архиватор,
работающий во freebsd не с единственно-правильной кодировкой.
Пока, увы, ноль.

EG> а unzip "в дереве фри" появился только с восьмерки.
ну так вот он - говно.

EG> Нет, спасибо, про info-zip напиши лучше PR - у него свой маинтейнер есть.
про тот что в дереве, и писать, надо думать, бесполезно.

> Alex

--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Victor Sudakov в Apr 18 14:37:37 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Victor Sudakov <Victor.Sudakov@f49.n5005.z2.fidonet.org> wrote:

AK>> у него нет таких ключей. "кодировки" windows/dos - это для
AK>> перекодирования файлов, а не их имен.
VS> И в страшном сне не приснится мне архиватор, который вздумает
VS> перекодировать файлы (в смысле их содержимое).
во времена pkzip (аналогом которого является info*) было востребовано. Оно
еще и crlf на lf заменять умеет.

VS> По крайней мере если сделать "unzip -t -O cp1251 1.zip"
у меня как была бнопня, так и осталась.

VS> $ echo $LANG
VS> ru_RU.KOI8-R
кодировка_терминала. Плевать он хотел на LANG.

> Alex

--- ifmail v.2.15dev5.4

Eugene Grosbein написал(а) к Alex Korchmar в Apr 18 22:13:37 по местному времени:

02 апр. 2018, понедельник, в 12:32 NOVT, Alex Korchmar написал(а):

AK> внезапно, у меня есть доступ к мертвой системе, я забил на попытки хоть
AK> что-то скопировать оттуда таром, и пытаюсь найти хоть один архиватор,
AK> работающий во freebsd не с единственно-правильной кодировкой.
AK> Пока, увы, ноль.

А не мог бы ты перестать страдать XY-фигнёй и честно рассказать,
чего ты хочешь в итоге получить и как именно ты это делаешь
с выдачей версий и вывода script(1)? Я вообще не понимаю твоего
художественного пересказа твоих действий.

Eugene
--- slrn/1.0.2 (FreeBSD)