tar: Can't translate pathname to UTF-8

Alex Korchmar написал(а) к Valentin Nechayev в Oct 17 12:03:17 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Valentin Nechayev <netch@segfault.kiev.ua> wrote:

VN> А вот почему нет опции для encoding'а имён файлов - вопрос более
VN> важный. Может, где-то в модулях спряталось?
скорее всего - авторы libarchive думали, что этим займется юзерский код,
а авторы местных поделок уже вообще ничем не думали, они не умеют.


> Alex

--- ifmail v.2.15dev5.4

Eugene Grosbein написал(а) к Alex Korchmar в Oct 17 16:03:40 по местному времени:

05 окт. 2017, четверг, в 17:38 NOVT, Alex Korchmar написал(а):

EG>>>> а ещё точнее дефолтный формат создаваемого архива, в котором положено
EG>>>> иметь всё в UTF-8.
AK>>> а локаль-то оно умеет проверять, или как обычно?
EG>> Не проверял, я не использую UTF-8.
AK> так у кого кругом одна utf8, у того все и будет работать.
AK> А вот что будет, если сархерачить в .tar файлы в koi8, а распаковывать
AK> с LANG cp1251 ?

Ну вот раньше так и было, если ничо не преобразовывать и традиционный tar
или даже zip, то бНОПНЯ при распаковке.

Eugene
--- slrn/1.0.2 (FreeBSD)

Alex Korchmar написал(а) к Victor Sudakov в Mar 18 12:55:21 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Victor Sudakov <Victor.Sudakov@f49.n5005.z2.fidonet.org> wrote:

VS> tar: oldwww/usr/home/www/XXX/htm/news/images/ЙНЯ КНЦНРХО copy.jpg: Can't
VS> translate pathname 'oldwww/usr/home/www/XXX/htm/news/images/ЙНЯ КНЦНРХО
VS> copy.jpg' to UTF-8

окей, народ - теперь я вляпался в обратную ситуацию - как теперь
распаковаь эту бнопню? Отдельный вопрос - что делать с результами
неудачной попытки, загадившими fs файлами вида D?DuD?D?.jpg
(нет, нельзя. Надо переименовать или хотя бы удалить только именно такие,
а не начать с чистого листа)

То есть, собственно, принципиален именно второй вопрос, распаковать я
могу на операционной системе с адекватными архиваторами и fs.

> Alex

--- ifmail v.2.15dev5.4

Victor Sudakov написал(а) к Alex Korchmar в Mar 18 17:21:08 по местному времени:

Dear Alex,

07 Mar 18 12:55, Alex Korchmar wrote to me:

VS>> tar: oldwww/usr/home/www/XXX/htm/news/images/ЙНЯ КНЦНРХО copy.jpg:
VS>> Can't translate pathname
VS>> 'oldwww/usr/home/www/XXX/htm/news/images/ЙНЯ КНЦНРХО copy.jpg' to
VS>> UTF-8

AK> окей, народ - теперь я вляпался в обратную ситуацию - как теперь
AK> распаковаь эту бнопню?

gtar-ом AFAIR

AK> Отдельный вопрос - что делать с результами
AK> неудачной попытки, загадившими fs файлами вида D?DuD?D?.jpg
AK> (нет, нельзя. Надо переименовать или хотя бы удалить только именно
AK> такие, а не начать с чистого листа)

AK> То есть, собственно, принципиален именно второй вопрос, распаковать я
AK> могу на операционной системе с адекватными архиваторами и fs.

Меня часто выручал converters/convmv

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20160322-b20160322

Andrew Kant написал(а) к Alex Korchmar в Mar 18 13:22:53 по местному времени:

Нello Alex!

Wednesday March 07 2018 12:55, Alex Korchmar wrote to Victor Sudakov:

AK> From: Alex Korchmar <noreply@linux.e-moe.ru>

AK> Victor Sudakov <Victor.Sudakov@f49.n5005.z2.fidonet.org> wrote:

VS>> tar: oldwww/usr/home/www/XXX/htm/news/images/ЙНЯ КНЦНРХО copy.jpg:
VS>> Can't translate pathname
VS>> 'oldwww/usr/home/www/XXX/htm/news/images/ЙНЯ КНЦНРХО copy.jpg' to
VS>> UTF-8

AK> окей, народ - теперь я вляпался в обратную ситуацию - как теперь
AK> распаковаь эту бнопню? Отдельный вопрос - что делать с результами
AK> неудачной попытки, загадившими fs файлами вида D?DuD?D?.jpg
AK> (нет, нельзя. Надо переименовать или хотя бы удалить только именно
AK> такие, а не начать с чистого листа)

AK> То есть, собственно, принципиален именно второй вопрос, распаковать я
AK> могу на операционной системе с адекватными архиваторами и fs.

Я в своё время при подобной проблеме делал скрипт, который find-ом искал все файлы, и для каждого из них проверял, есть-ли файл с именем, поученным обратной перекодировкой. Если есть - то удалял. В итоге все дубли в неверной кодировке были почищены. Можно, кончено, и по md5 сравнивать с хорошим, но это было сложнее, здесь было достаточно перлового -f и -d для поиска.

Good bye!
Andrew

--- GoldED+/W32 1.1.4.7

Alex Korchmar написал(а) к Victor Sudakov в Mar 18 14:35:55 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Victor Sudakov <Victor.Sudakov@f49.n5005.z2.fidonet.org> wrote:

AK>> окей, народ - теперь я вляпался в обратную ситуацию - как теперь
AK>> распаковаь эту бнопню?
VS> gtar-ом AFAIR
это не gtar - полно идиотских schily атрибутов

AK>> неудачной попытки, загадившими fs файлами вида D?DuD?D?.jpg

VS> Меня часто выручал converters/convmv
чего конвертировать-то? Эти вопросы - не имя файла, это какой-то мусор,
подставленный то ли шибкоумной zfs, то ли не менее шибкоумным ls.
Мне бы для начала хотя бы их список - отдельно именно таких, пригодный
для скармливания хотя бы rm, если уж mv невозможно.


> Alex

--- ifmail v.2.15dev5.4

Eugene Grosbein написал(а) к Alex Korchmar в Mar 18 20:25:37 по местному времени:

07 марта 2018, среда, в 12:55 NOVT, Alex Korchmar написал(а):

VS>> tar: oldwww/usr/home/www/XXX/htm/news/images/ЙНЯ КНЦНРХО copy.jpg: Can't
VS>> translate pathname 'oldwww/usr/home/www/XXX/htm/news/images/ЙНЯ КНЦНРХО
VS>> copy.jpg' to UTF-8
AK> окей, народ - теперь я вляпался в обратную ситуацию - как теперь
AK> распаковаь эту бнопню?

Оно у тебя пытается перекодировать в UTF-8 из, скорее всего, CP1251.
Пробовал сделать "env LANG=ru_RU.CP1251 tar xf $tarfile" ?
Чтобы оно не пыталось перекодировать.

AL> Отдельный вопрос - что делать с результами
AK> неудачной попытки, загадившими fs файлами вида D?DuD?D?.jpg
AK> (нет, нельзя. Надо переименовать или хотя бы удалить только именно такие,
AK> а не начать с чистого листа)

Если неудачная попытка состояла в перекодировании имён из одной кодировки
в другую - перекодировать обратно.

Eugene
--
Научить презирать мещанскую мудрость.
--- slrn/1.0.2 (FreeBSD)

Eugene Grosbein написал(а) к Alex Korchmar в Mar 18 20:30:41 по местному времени:

07 марта 2018, среда, в 14:35 NOVT, Alex Korchmar написал(а):

AK>>> неудачной попытки, загадившими fs файлами вида D?DuD?D?.jpg
AK> чего конвертировать-то? Эти вопросы - не имя файла, это какой-то мусор,
AK> подставленный то ли шибкоумной zfs,

нет

AK> то ли не менее шибкоумным ls.

ls заменяет "непечатные" в текущей локали символы на вопросики,
но это лишь проблема визуализации, на файловой системе они лежат
не замененные и нет никаких проблем их конвертировать:

find . -name '*.jpg' | while read name
do
new=$(echo "$name" | iconv -f utf-8 -t cp1251)
echo mv "$name" "$new"
done

Прогоняешь этот скрипт, убеждаешься, что кодировки выбраны верно,
убираешь echo.

Eugene
--- slrn/1.0.2 (FreeBSD)

Alex Korchmar написал(а) к Eugene Grosbein в Mar 18 20:03:05 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote:

EG> Оно у тебя пытается перекодировать в UTF-8 из, скорее всего, CP1251.
EG> Пробовал сделать "env LANG=ru_RU.CP1251 tar xf $tarfile" ?
EG> Чтобы оно не пыталось перекодировать.
еще нет - мне б сперва стереть то, что оно уже понапроизвело.
но не думаю что поможет - скорее всего там уже внутри архива нечто
непотребное - цитировать что мне gnu tar выдал не рискну, фидо сломается,
но это сто пудов не оригинал.

EG> Если неудачная попытка состояла в перекодировании имён из одной кодировки
EG> в другую - перекодировать обратно.
tab completion превращает его вот в это:
D\235DuD\?D\234.jpg
сдаецца мне, такой кодировки в природе не существует. И как написать regex
для grep или чему еще - я тоже как-то не очень понимаю.
(наверное сработает с другого конца - перечислять все возможные символы , и
искать "все, кроме...", но тут многовато шансов ошибиться)


> Alex
P.S. а умникам, занимающимся перекодировками чего бы то ни было в файловой
системе, кроме специальных и с явным указанием порядка кодирования, я бы их
руки вырвал и в жопу-то бы засунул, чтоб другим неповадно было.

--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Eugene Grosbein в Mar 18 20:11:05 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote:
EG> new=$(echo "$name" | iconv -f utf-8 -t cp1251)
Illegal byte sequence
не валидный это utf

то есть то, что лежит на диске - уже явно не подлежит восстановлению

> Alex

--- ifmail v.2.15dev5.4