Проверка гейта usenet->fido

Vitaly Zaitsev написал(а) к Vladimir Fyodorov в Dec 14 20:04:06 по местному времени:

Здpавствуй, Vladimir!

Среда 24 Декабря 2014 11:59, ты писал(а) Andrew A. Vasilyev:

VF> По теме эхотага: как во FreeBSD настроить перекодировку текста, чтобы
VF> письма из фидо попадали в гугльгруппы не кракозябрами? ;)

Самое забавное, что если в гугле подписаться на дайджест любой группы новостей (фидошной эхи), то в полученном письме кодировка уже правильная и все сообщения замечательно читаются.

С уважением, Vitaly (zvitaly@easycoding.org)
--- Nothing is safe. Noone is safe.

Vladimir Fyodorov написал(а) к Petr Novopashenniy в Dec 14 20:39:38 по местному времени:

Разнообразно приветствую тебя, Petr!

24 Декабря 2014, Petr Novopashenniy писАл к Vladimir Fyodorov следующее:

VF>> По теме эхотага: как во FreeBSD настроить перекодировку текста,
VF>> чтобы письма из фидо попадали в гугльгруппы не кракозябрами? ;)
PN> Увы, это глюки гугля.
PN> Как костыль, на гейте все перекодировать не в KOI8 а в UTF, который на
PN> первый взгляд гугль не портит. Не уверен, что это нормальное решение.

ИМХО, любое решение, которое позволит нормально прочитать текст писем лучше, чем то, что наблюдается сейчас. Если уж на то пошло, лучше вообще не гейтовать в гуглогруппы, поскольку от настоящего положения дел кроме вреда никакой пользы.

PN> Моя переписка с гуглом успехом не увенчалась. Проблему признали, но
PN> так и не решили.

Пичалька. Может, их того, потеребить немного? ;)

Всяческих благ. Искренне Ваш, Vladimir Fyodorov, эсквайр.
... Я вас не понима... Ах, это UU-coding ...
--- GoldED+/W32-MINGW 1.1.5-b20120515

Serguei E. Leontiev написал(а) к Petr Novopashenniy в Dec 14 02:30:55 по местному времени:

From: "Serguei E. Leontiev" <leo@sai.msu.ru>

Привет Пётр,

От 24 декабря 2014 г., 14:36:21 в fido7.ru.unix.bsd ты писал:
AV>>> По теме эхотага: гейт пока ещё внутри
AV>>> freebsd-овый :-)
VF>> По теме эхотага: как во FreeBSD настроить перекодировку

Использовать какой-нибудь mimetools и/или настроить/обновить/исправить
ifmail

VF>> текста, чтобы письма из фидо попадали в гугльгруппы не
VF>> кракозябрами? ;)
PN> Увы, это глюки гугля.

Нет, это не только глюки google.

Насколько мне известно, news.demos.su работает так же как и много лет
назад, т.е. старинным нестандартным способом прошлого века расширяет
Usenet сообщения RFC 1036 до 8bit KOI8-R. Например заголовки твоего
сообщения:

Path: ddt.demos.su!not-for-mail
From: Petr Novopashenniy <pety@rusnet.ru>
Newsgroups: fido7.ru.unix.bsd
Subject: Re: Проверка гейта usenet->fido
...
NNTP-Posting-Нost: ddt.demos.su
Mime-Version: 1.0
Content-Type: TEXT/PLAIN; charset=koi8-r
Content-Transfer-Encoding: 8BIT

В которых наблюдается явное нарушение RFC 5536, п 2.2
<https://tools.ietf.org/html/rfc5536#section-2.2>, как минимум в
заголовке "Subject:".

1. ИМХО Mime-Version должен предшествовать Subject;
2. Subject должен кодироваться согласно MIME, т.е. например:
=?koi8-r?Q?=F3...?=;

Имеющиеся нарушения должно приводить к проблемам отображения Subject,
что и наблюдается. Так же это может приводить к проблемам при MIME
преобразованиях, если таковые будут происходить при транспортировке.

PN> Как костыль, на гейте все перекодировать не в KOI8 а в UTF,
PN> который на первый взгляд гугль не портит. Не уверен, что это
PN> нормальное решение.

Вроде бы последние месяцы тела сообщений на Google Groups стали лучше,
хотя это может быть случайным стечением обстоятельств, просто маршрут
доставки сообщений стал удачным.

Если предположить, что где-то есть старые добрые NNTP сервера времён RFC
1036, то возможно лучше бы использовать 7 битные кодировки (Base64 или
Quoted-Printable).

Лично мне кажется, что UTF-8 или KOI8-R для корректных MIME сообщений
это безразлично.

PN> Моя переписка с гуглом успехом не увенчалась. Проблему
PN> признали, но так и не решили.

Возможно, они решили, что проблема на нашей стороне?


--
Успехов, Сергей Леонтьев. E-mail: lse@CryptoPro.ru
--- ifmail v.2.15dev5.4

Vladimir Fyodorov написал(а) к Serguei E. Leontiev в Dec 14 09:40:06 по местному времени:

Разнообразно приветствую тебя, Serguei!

25 Декабря 2014, Serguei E. Leontiev писАл к Petr Novopashenniy следующее:

SL> Имеющиеся нарушения должно приводить к проблемам отображения Subject,
SL> что и наблюдается.
[...]
SL> Вроде бы последние месяцы тела сообщений на Google Groups стали лучше,
SL> хотя это может быть случайным стечением обстоятельств, просто маршрут
SL> доставки сообщений стал удачным.

Да, я тоже заметил, что примерно с 30 октября тело писем стало читаемым, кракозябры же постоянно присутствуют только в сабжах.

Всяческих благ. Искренне Ваш, Vladimir Fyodorov, эсквайр.
... Отправь немножко мне ююков мылом
--- GoldED+/W32-MINGW 1.1.5-b20120515

Petr Novopashenniy написал(а) к Serguei E. Leontiev в Dec 14 14:26:50 по местному времени:

From: Petr Novopashenniy <pety@rusnet.ru>


Сергей, добрый день!

On Wed, 24 Dec 2014, Serguei E. Leontiev wrote:

SEL> Привет Пётр,
SEL>
SEL> От 24 декабря 2014 г., 14:36:21 в fido7.ru.unix.bsd ты писал:
SEL> AV>>> По теме эхотага: гейт пока ещё внутри
SEL> AV>>> freebsd-овый :-)
SEL> VF>> По теме эхотага: как во FreeBSD настроить перекодировку
SEL>
SEL> Использовать какой-нибудь mimetools и/или настроить/обновить/исправить
SEL> ifmail
SEL>
SEL> VF>> текста, чтобы письма из фидо попадали в гугльгруппы не
SEL> VF>> кракозябрами? ;)
SEL> PN> Увы, это глюки гугля.
SEL>
SEL> Нет, это не только глюки google.
SEL>
SEL> Насколько мне известно, news.demos.su работает так же как и много лет

Поправка, это ddt.demos.su

SEL> назад, т.е. старинным нестандартным способом прошлого века расширяет
SEL> Usenet сообщения RFC 1036 до 8bit KOI8-R. Например заголовки твоего
SEL> сообщения:
SEL>
SEL> Path: ddt.demos.su!not-for-mail
SEL> From: Petr Novopashenniy <pety@rusnet.ru>
SEL> Newsgroups: fido7.ru.unix.bsd
SEL> Subject: Re: Проверка гейта usenet->fido
SEL> ...
SEL> NNTP-Posting-Нost: ddt.demos.su
SEL> Mime-Version: 1.0
SEL> Content-Type: TEXT/PLAIN; charset=koi8-r
SEL> Content-Transfer-Encoding: 8BIT

Увы, тут все несколько запутанней.

Насколько я могу судить, вот эти последние три отквоченные строки
выставляет мой клиент, а не гейт. Гейт вообще кодировку не выставляет для
сообщений из фидо. А из Usenet оставляет как есть.

Да, так исторически сложилось.
Насколько в наше время это корректно, безусловно вопрос хороший. ;)

SEL>
SEL> В которых наблюдается явное нарушение RFC 5536, п 2.2
SEL> <https://tools.ietf.org/html/rfc5536#section-2.2>, как минимум в
SEL> заголовке "Subject:".
SEL>
SEL> 1. ИМХО Mime-Version должен предшествовать Subject;
SEL> 2. Subject должен кодироваться согласно MIME, т.е. например:
SEL> =?koi8-r?Q?=F3...?=;
SEL>
SEL> Имеющиеся нарушения должно приводить к проблемам отображения Subject,
SEL> что и наблюдается. Так же это может приводить к проблемам при MIME
SEL> преобразованиях, если таковые будут происходить при транспортировке.

Совершенно верно. Так просто исторически сложилось, в свое время и обычная
почтовая переписка у нас велась с сабжами в plain 8 bit koi8-r.

В некотрых группах (не фидо) в постах некотрые до сих пор тоже (как гейт)
кодировку не выставляют (для тела). Считая, что koi8-r заведомо
известный default.

SEL>
SEL> PN> Как костыль, на гейте все перекодировать не в KOI8 а в UTF,
SEL> PN> который на первый взгляд гугль не портит. Не уверен, что это
SEL> PN> нормальное решение.
SEL>
SEL> Вроде бы последние месяцы тела сообщений на Google Groups стали лучше,
SEL> хотя это может быть случайным стечением обстоятельств, просто маршрут
SEL> доставки сообщений стал удачным.

От маршрута это не зависило, тело ломалось "случайным" образом при любом
пути.

SEL>
SEL> Если предположить, что где-то есть старые добрые NNTP сервера времён RFC
SEL> 1036, то возможно лучше бы использовать 7 битные кодировки (Base64 или
SEL> Quoted-Printable).

По пути до гугла (в случае поломки тела) таких небыло, разве что в самом
гугле.

SEL>
SEL> Лично мне кажется, что UTF-8 или KOI8-R для корректных MIME сообщений
SEL> это безразлично.

Я видел поломанные и "7bit" koi8-r. А вот UTF-8 поломанным пока не видел.

SEL>
SEL> PN> Моя переписка с гуглом успехом не увенчалась. Проблему
SEL> PN> признали, но так и не решили.
SEL>
SEL> Возможно, они решили, что проблема на нашей стороне?
SEL>

Насколько я могу судить, недавно действительно что-то изменилось, тела
сообщений, при присутствующем типе кодировки, ломаться перестали. А для
fido7.* - и отсутствующем (другие иерархии пока не проверил).

А недавно ломались и те и другие. Дело в том, что до некотрых переделок
гугля фидошные сообщения отображались корректно (в том числе и заголовок
subject), не взирая на наличие/отсутствие указания кодировки. Вот оттуда
и пошло - "глюки гугла".

Тогда разговор с гуглом закончился тем (около года назад), что признали
проблему с испорченным телом при указанной кодировке, и видимо ее все
таки недавно решили (я как-то пропустил этот момент). А вот с 8бит сабжем
мы как-то не договорились, это да.

Тяжело от гугла было требовать прибивать для fido7.* (да и для
других русскоязычных иерархий) koi8-r гвоздями, если не указана кодировка
Возможно в их новом софте это просто небыло предусмотрено.

Теперь же тела сообщений (8bit, без указания кодировки) показываются на
первый взгляд корректно, а сабжи нет.

Вот и чья это проблема? Если показ тела доделали, почему сабжи - нет?

И сейчас, смотря fido7.ru.linux на гугле, я вижу, что сообщения примерно с
апреля этого года с корявыми сабжами, а до этого - с нормальными. Несмотря
на то, что гейт своих свойств не изменял. Это проблема на чьей стороне?

PS:
В итоге-то понятно, что это наша проблема, гуглю там читать и искать
самому нечего. ;)

--pety
--- ifmail v.2.15dev5.4

Valentin Nechayev написал(а) к Petr Novopashenniy в Dec 14 14:34:24 по местному времени:

From: Valentin Nechayev <netch@segfault.kiev.ua>


>>> Petr Novopashenniy wrote:

PN> Насколько я могу судить, вот эти последние три отквоченные строки
PN> выставляет мой клиент, а не гейт. Гейт вообще кодировку не выставляет для
PN> сообщений из фидо. А из Usenet оставляет как есть.

PN> Да, так исторически сложилось.
PN> Насколько в наше время это корректно, безусловно вопрос хороший. ;)

Я думаю, катастрофически некорректно.
Осталось выяснить, кто и как в состоянии потратить время и настроение
исправить это...


--netch--
--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Petr Novopashenniy в Dec 14 14:47:54 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Petr Novopashenniy <pety@rusnet.ru> wrote:

PN> Насколько я могу судить, вот эти последние три отквоченные строки
PN> выставляет мой клиент, а не гейт. Гейт вообще кодировку не выставляет для
PN> сообщений из фидо. А из Usenet оставляет как есть.

PN> Насколько в наше время это корректно, безусловно вопрос хороший. ;)
это абсолютно ни в какое время не было корректно, потому что фидошники
никогда не парились, что их ридеры ставят в это поле - там вполне могло
быть FIDO, или еще какая-нибудь абсолютная ересь. При этом гейт без разбора
перекодирует все подряд 866-koi8, даже если кодировка выставлена во что-то
вменяемое и отличное от 866, ибо "тут так принято" (и, разумеется, "вменяемое"
не означает совпадающее с реальной кодировкой), овеяно традицией и, кстати,
зафиксировано в правилах большинства эх.
И, исторически, совершенно не умеет кодировать заголовки.

> Alex

--- ifmail v.2.15dev5.4

Andrew A. Vasilyev написал(а) к Alex Korchmar в Dec 14 16:00:58 по местному времени:

From: "Andrew A. Vasilyev" <andy@demos.su>

Alex Korchmar <noreply@linux.e-moe.ru> wrote:
AK> быть FIDO, или еще какая-нибудь абсолютная ересь. При этом гейт без разбора
AK> перекодирует все подряд 866-koi8, даже если кодировка выставлена во что-то
AK> вменяемое и отличное от 866, ибо "тут так принято" (и, разумеется, "вменяемое"

Неправда. :-)) Гейт уже давно (с 2007 года) перекодирует в koi8-r всё, что
приходит с любой кодировкой, поддерживаемой iconv, если эта кодировка
корректно указана. Но входящий default, разумеется, CP866, как это
принято в ФИДО :-))

AK> не означает совпадающее с реальной кодировкой), овеяно традицией и, кстати,
AK> зафиксировано в правилах большинства эх.
AK> И, исторически, совершенно не умеет кодировать заголовки.

Да, т.к. он унаследовал подход Рунета эпохи RFC-1489: default == KOI8-R.
Интересно, мой tin 1.9.6 поймёт quoted printable в Subject? :-))
______
ANDY
--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к \"Andrew A. Vasilyev\" в Dec 14 17:51:05 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Andrew A. Vasilyev <andy@demos.su> wrote:

AAV> приходит с любой кодировкой, поддерживаемой iconv, если эта кодировка
AAV> корректно указана. Но входящий default, разумеется, CP866, как это
подозреваю что именно этим мы обязаны нечитаемым письмам.
Ибо в самом фидо с такой кодировочкой сразу плюсик прилетит.
А вот за UTF-8 или вообще что-то непотребное в заголовке 866-го письма
- не прилетит.
(а прилетит - ответят "правила такого не содержат, модератора на мыло")

AAV> Да, т.к. он унаследовал подход Рунета эпохи RFC-1489: default == KOI8-R.
AAV> Интересно, мой tin 1.9.6 поймёт quoted printable в Subject? :-))
afair, его еще надо было заставить запихать восьмибитный код as-is,
я уже совсем не уверен, что смогу повторить при необходимости.

> Alex
--- ifmail v.2.15dev5.4

Serguei E. Leontiev написал(а) к Andrew A. Vasilyev в Dec 14 19:11:43 по местному времени:

From: "Serguei E. Leontiev" <leo@sai.msu.ru>

Привет Андрей,

От 25 декабря 2014 г., 16:00:58 в fido7.ru.unix.bsd ты писал:
AK>> не означает совпадающее с реальной кодировкой), овеяно
AK>> традицией и, кстати, зафиксировано в правилах большинства
AK>> эх. И, исторически, совершенно не умеет кодировать
AK>> заголовки.
AV> Да, т.к. он унаследовал подход Рунета эпохи RFC-1489: default
AV> == KOI8-R. Интересно, мой tin 1.9.6 поймёт quoted printable в
AV> Subject? :-)) ______

Если мне неизменяет память, 1.8.х понимал.

Хотя у меня уже склероз прогрессирует, так что проще проверить и открыть
relcom.test, в котором есть более правильные сообщения, например:

Path: aspen.stu.neva.ru!goblin.stu.neva.ru!news.tambov.ru!not-for-mail
From: BestTester@crimea.ru (BestTester)
Newsgroups: relcom.test
Subject: =?KOI8-R?Q?=EE=D5, =D4=C5=D0=C5=D2=D8 =D7=D3=C5 =D1=D3=CE=CF
=C9 =CB=CF=CE=C0?=
Date: Fri, 28 Nov 2014 03:31:06 +0000 (UTC)
Organization: Linux
Lines: 15
Message-ID: <m58q9q$k6n$1@irc.tambov.ru>
NNTP-Posting-Нost: 173-20-139-130.client.mchsi.com
Content-Type: text/plain; charset=koi8-r
X-Trace: irc.tambov.ru 1417145466 20695 173.20.139.130 (28 Nov 2014
03:31:06 GMT)
X-Complaints-To: usenet@irc.tambov.ru
NNTP-Posting-Date: Fri, 28 Nov 2014 03:31:06 +0000 (UTC)
Xref: aspen.stu.neva.ru relcom.test:1244


--
Успехов, Сергей Леонтьев. E-mail: lse@CryptoPro.ru
--- ifmail v.2.15dev5.4