tar: Can't translate pathname to UTF-8

Eugene Grosbein написал(а) к Alex Korchmar в Mar 18 01:29:26 по местному времени:

07 марта 2018, среда, в 20:11 NOVT, Alex Korchmar написал(а):

EG>> new=$(echo "$name" | iconv -f utf-8 -t cp1251)
AK> Illegal byte sequence
AK> не валидный это utf

Это может быть utf-16.

AK> то есть то, что лежит на диске - уже явно не подлежит восстановлению

Не бывает такого.

Eugene
--
Поэты - страшные люди. У них все святое.
--- slrn/1.0.2 (FreeBSD)

Victor Sudakov написал(а) к Alex Korchmar в Mar 18 09:43:48 по местному времени:

Dear Alex,

07 Mar 18 20:11, Alex Korchmar wrote to Eugene Grosbein:

AK> Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote:
EG>> new=$(echo "$name" | iconv -f utf-8 -t cp1251)
AK> Illegal byte sequence
AK> не валидный это utf

AK> то есть то, что лежит на диске - уже явно не подлежит восстановлению

Попробуй всё же convmv. Я пару раз был приятно удивлён его интеллектом.

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20160322-b20160322

Alex Korchmar написал(а) к Eugene Grosbein в Mar 18 09:40:29 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote:

EG> Это может быть utf-16.
не, не может
нет в нем частей символов с кодом 254
AK>> то есть то, что лежит на диске - уже явно не подлежит восстановлению
EG> Не бывает такого.
наоборот, постоянно бывает, когда шибкоумный софт считает что где-то тут
utf.
Это только восьмибитные кодировки не теряли информацию и всегда позволяли
получить исходное состояние обратным преобразованием.
Тупорылые изобретатели всем добра - все испортили.

> Alex

--- ifmail v.2.15dev5.4

Victor Sudakov написал(а) к Alex Korchmar в Mar 18 14:20:48 по местному времени:

Dear Alex,

08 Mar 18 09:40, Alex Korchmar wrote to Eugene Grosbein:

EG>> Это может быть utf-16.
AK> не, не может
AK> нет в нем частей символов с кодом 254
AK>>> то есть то, что лежит на диске - уже явно не подлежит
AK>>> восстановлению
EG>> Не бывает такого.
AK> наоборот, постоянно бывает, когда шибкоумный софт считает что где-то
AK> тут utf. Это только восьмибитные кодировки не теряли информацию и
AK> всегда позволяли получить исходное состояние обратным преобразованием.
AK> Тупорылые изобретатели всем добра - все испортили.

Зато файлы можно называть по-эльфийски и клинописью, причем одновременно.

Но на ZFS IMНO ты зря грешишь: как всякой юниксовой fs, разве ей не всё равно, какие там байты в именах файлов? Лишь бы не слеш и null.

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20160322-b20160322

Alex Korchmar написал(а) к Victor Sudakov в Mar 18 11:59:33 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Victor Sudakov <Victor.Sudakov@f49.n5005.z2.fidonet.org> wrote:

VS> Но на ZFS IMНO ты зря грешишь:
это отдельный от ненужо-utfизации всего и вся вопрос, и тут, наверное,
скорее ls старается - но и его авторов очень хочется спрость за эти
идиоские "вопросики" - чем таким они думали, выводя вместо непечатаемого
имени файла что в голову взбредет - и как, по их мнению, отличить такой
вопросик от настоящего.

> Alex

--- ifmail v.2.15dev5.4

Eugene Grosbein написал(а) к Alex Korchmar в Mar 18 21:27:42 по местному времени:

08 марта 2018, четверг, в 09:40 NOVT, Alex Korchmar написал(а):

EG>> Не бывает такого.
AK> наоборот, постоянно бывает, когда шибкоумный софт считает что где-то тут
AK> utf.

Он же тебе сказал - интерпретировать как utf не смог и распаковал "как есть".
Тут вопрос: что у тебя реально в исходном tar с кодировкой символов-то?

Eugene
--- slrn/1.0.2 (FreeBSD)

Eugene Grosbein написал(а) к Alex Korchmar в Mar 18 21:42:21 по местному времени:

08 марта 2018, четверг, в 11:59 NOVT, Alex Korchmar написал(а):

VS>> Но на ZFS IMНO ты зря грешишь:
AK> это отдельный от ненужо-utfизации всего и вся вопрос, и тут, наверное,
AK> скорее ls старается - но и его авторов очень хочется спрость за эти
AK> идиоские "вопросики" - чем таким они думали, выводя вместо непечатаемого
AK> имени файла что в голову взбредет - и как, по их мнению, отличить такой
AK> вопросик от настоящего.

ls нынче этим вообще не занимается, а по-новомодному пускает весь
вывод через xo_emi() из libxo, которое "рендерит" его в "locale-based text",
JSON, XML или НTML.

Но это всё неважно, потому что это только визуализация при условии
вывода на терминал, а если в файл или скажем в пайп - там "как есть" будет,
без путания в вопросиках и вообще без конвертации в вопросики, например:

$ touch 'пример' # в koi8-r
$ env env LCALL=ruRU.UTF-8 ls -l > list

Внутри list даты будут в UTF-8, а имя файла 'пример' останется,
как и было, в KOI8-R безо всяких перекодировок.

Eugene
--
Смотри, но не смей трогать
--- slrn/1.0.2 (FreeBSD)

Alex Korchmar написал(а) к Eugene Grosbein в Mar 18 18:05:43 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote:

EG> Он же тебе сказал - интерпретировать как utf не смог и распаковал "как есть".
это ты с топикстартером попутал. Мне он ничего не сказал, молча
распаковал неюзабельную херню - так что возвращаемся к вопросу - как написать
команду для find чтобы все подобное удалить к чертям?
EG> Тут вопрос: что у тебя реально в исходном tar с кодировкой символов-то?
какая-то херня, вероятно образовавшаяся при попытках проинтерпретировать
восьмибитный код как utf.

Это отдельный вопрос.

> Alex

--- ifmail v.2.15dev5.4

Eugene Grosbein написал(а) к Alex Korchmar в Mar 18 22:44:22 по местному времени:

08 марта 2018, четверг, в 18:05 NOVT, Alex Korchmar написал(а):

EG>> Тут вопрос: что у тебя реально в исходном tar с кодировкой символов-то?
AK> какая-то херня, вероятно образовавшаяся при попытках проинтерпретировать
AK> восьмибитный код как utf.
AK> Это отдельный вопрос.

Это главный вопрос. Что говорит file на распакованный tar?

$ tar -cf posix.tar пример # koi8-r
$ file posix.tar
posix.tar: POSIX tar archive

$ tar --format gnutar -cf gnutar.tar пример
$ file gnutar.tar
gnutar.tar: POSIX tar archive (GNU)

$ dd bs=6 count=1 if=gnutar.tar 2>/dev/null
пример
$ dd if=posix.tar skip=1 2>/dev/null | head -1 | iconv -f utf-8 -t koi8-r
21 path=пример

Eugene
--
Поэты - страшные люди. У них все святое.
--- slrn/1.0.2 (FreeBSD)

Andrew Kant написал(а) к Alex Korchmar в Mar 18 20:40:47 по местному времени:

Нello Alex!

Thursday March 08 2018 18:05, Alex Korchmar wrote to Eugene Grosbein:
EG>> Он же тебе сказал - интерпретировать как utf не смог и распаковал
EG>> "как есть".
AK> это ты с топикстартером попутал. Мне он ничего не сказал, молча
AK> распаковал неюзабельную херню - так что возвращаемся к вопросу - как
AK> написать команду для find чтобы все подобное удалить к чертям?
EG>> Тут вопрос: что у тебя реально в исходном tar с кодировкой

если есть исходный тар, то тебе не нужен find, сделай tar --list и удали все файлы с такими-же именами. Или ты думаешь что он во второй раз их по-другому перекодирует? :)


Good bye!
Andrew

--- GoldED+/W32 1.1.4.7