Jam VS Squish

Nil A написал(а) к Sergey Anohin в Jan 24 01:21:44 по местному времени:

Нello, Sergey!

Tuesday January 30 2024 23:57, from Sergey Anohin -> Nil A:

NA>> Ровно такой же нодософт, как и какой-нибудь JNode, т.е. без
NA>> обратной совместимости с "популярными" читалками, которые
NA>> работают с фидобазами. Хотя, фидогад лучше тем, что через NNTP
NA>> есть куда другого софта, но это не фидошно нативно. Хотя, JNode
NA>> предалгает базу в SQL, читай хоть 'select * from ..', но всё
NA>> равно, нативного фидошного софта нет на почитать. И тот и другой
NA>> нодософт подразумевает, что у нас есть .1 адес, на котором живёт
NA>> сисоп со своим любимым набором, например binkd+hpt+golded.

SA> Если мне не изменяет память, то fidogate только пасс тру, то есть нет
SA> баз на ноде.

Он скармливает проге, которая понимает RFC заголовки, например innd - вот тебе и база.

Ну короче, в 90х на юниксах мы юзали ifmail - единственное что было. Тогда ftn-to-ftn проходил двойное гейтование. ifcico качал, потом нетмыло через ifmail конвертировалось в RFC заголови, которые читал MTA типа sendmail; а эхи через inews фигачились в RFC и скармливались какому-нибудь innd. Потом у тебя есть фидошные даунлинки, они учавствуют в роутинге через sendmail для нетмейла, и как фиды в innd, ну т.е. снова из RFC в FTN все заголовки перефигачивались. Fidogate делает похожее, но Ftn-to-ftn он умеет без двойного гейтования. Осталось только научить его натоссивать в локальную Jam/Squish базу.

Best Regards, Nil
--- GoldED+/LNX 1.1.5

Dmitry Protasoff написал(а) к Nil A в Jan 24 22:06:06 по местному времени:

Нello, Nil!

Wednesday January 31 2024 00:58, you wrote to me:

DP>> Вообщем, выпивание пива с Вардом в пятницу навело меня на
DP>> некоторые окончательные выводы

NA> Фидо умерло? (c)

Нет, как оказалось - есть прямо несколько фанатов, которые пишут софт вот прямо сейчас и в ус не дуют, что это никому не надо :)
Был момент, когда D'Bridge писал один человек и пользовался им тоже только 1 человек. И всем было в кайф.

DP>> - но ничего анонсировать пока не буду, чтобы не прослыть треплом
DP>> :) Но работа кипит.

NA> Что там деда Вард может придумать, нодлисты каждый час, андроид флаг
NA> или мобильны флаг в нодлисте?

Он очень гибок, рассказывал, как меняли постоянно флаги в нодлисте, когда запускали binkp.

NA> Но работа кипит - это радует, вдруг что-то интересное из этого выйдет.

Что-то да выйдет! Пусть даже - море разочарования :)

NA> Так то если подумать, Вард ещё и IC является, а не просто Z2C, а
NA> значит может стукнуть кулаком по сталу и сказать, что все переезжают в
NA> одну зону вообще!

Это мы тоже обсуждали :) А то когда есть ZC (не будем тыкать пальцем), которые не знают английский и не могут прочитать описание флагов в нодлисте - и с ними приходится жить в одной Большой Сети :)

DP>> innd - это вообще старое дерьмо мамонта, я с ним столько вместе
DP>> жил, что никаких сил уже нет.

NA> Автор innd, оригинальный, пока он не отдал его в оперсорц, мы с ним в
NA> одной конторе в соседних кубиках сидели до ковида, сейчас из дома в
NA> основном работаем. Я как-то ему говорю, что народ есть, до сих пор

А вот его я хвалить не буду :) Не в обиду ему будет сказано - но прямо горе от ума, явно человек очень старался, но что-то все шло не так и не туда.. Overengineering, при том, что важных фич нет.

NA> innd юзает. Он сильно удивился сначала, потом сказал, что ему
NA> вобщем-то насрать. Единственное, о чём он желеет, что какой-то
NA> коммерческий продукт тогда не сделал и никакой выгоды не извлёк. Вот
NA> они, капиталистические завановцы ;-)

Думаю, что у всех, кто что-то писал во время доткомов - есть такие сожаления :)

Best regards,
dp.

--- GoldED+/LNX 1.1.5-b20230304

Dmitry Protasoff написал(а) к Nil A в Jan 24 22:33:09 по местному времени:

Нello, Nil!

Wednesday January 31 2024 01:05, you wrote to me:

DP>> Я предпочитаю в clickhouse писать эхи - это для них идеальный
DP>> кейс.

NA> А чё не Кассандра тогда? Фидошные сообщения все eventual consistency,
NA> прям ваще ложиться отлично, чтобы кластер кассандры иметь.

Clickhouse тут больше подходит - редкие вставки батчами, при этом никаких update - все r/o.
Есть поддержка в ORM.

DP>> Sqlite - это для локального компьютера только.

NA> Я, кстати, ещё не видел, чтобы фидонода как-то масштабировалась больше
NA> одного компа. Представляешь, на бинк порту отвечает лоад-балансер? ;-)

У меня сейчас JNode живет на SQL кластере. В теории можно было иметь несколько морд.
Но JNode надо выбросить, ее нет смысла допиливать.

DP>> Разве работает? У меня никогда не было 80386 - я поэтому не знаю.
DP>> Поиск всегда был плохой.

NA> Плохой, естессно, но как-то работает. Во-первых, он тупо линейный
NA> греп, без индексов естессно. Во-вторых, из-за приколов с русскими
NA> заменами буков, он становится чуть менее чем полностью безнадёжным.

Словоформ то нет! manticore надо. Благо с clickhouse легко женится.

DP>> Как говорил Вард - в фидо еще никому не удавалось остановить
DP>> прогрессивные идеи :)

NA> Потому что в фидо в то или иное время побывавали очень и очень не
NA> глупые люди, которые в мирской жизне засветились в интересных
NA> проектах. Многие из них обламывались из-за "иерархии координаторов".
NA> Кто-то из-за тупости комитета FTSC. Кто-то просто мысли в слух, а, как
NA> известно, это не мешки ворочить.

Все в наших руках :)

DP>> А кто вообще решил, что хотдог в sqlite хранил базу? Это точно?

NA> Там дизасеблировщиков нашлось. Но, по факту, там на 80% код JNode, а
NA> он в сиквеле хранит.

JNode хранит в Н2 - это все же sqlite. С другой стороны - да и фиг с ним, помер он.

Best regards,
dp.

--- GoldED+/LNX 1.1.5-b20230304

Nil A написал(а) к Dmitry Protasoff в Jan 24 01:57:18 по местному времени:

* Originally in ru.ftn.develop
* Crossposted in su.c_cpp
Нello, Dmitry!

Tuesday January 30 2024 22:33, from Dmitry Protasoff -> Nil A:

DP> Clickhouse тут больше подходит - редкие вставки батчами, при этом
DP> никаких update - все r/o. Есть поддержка в ORM.

Правильно гутаришь. Яндекс молодцы, отдают в опенсорц.

<offtopic>
Все большие интернет-айти конторы как-то решают проблему номер раз - соотношение зарплат программистов VS цена покупки сервантов.
Гуглы, например, запилили свой язык Гоу - супер заточен под бакенды писать, и всякие там REST сервисы с сериализацией JSON.
ВК прикинули, что на рынке много тысяч PНP прогеров ошиваются за копейки, но на PНP бакенд компудахтеров не напассёшься, и запилили свой php-в-c++ конвертер https://github.com/VKCOM/kphp там, конечно же, restricted php синтаксис, но всё равно, пыхо-прогерам проще объяснить, что нельзя использовать такой то синтаксис, чем нанимать сразу на плюсы.
Яндексы прикинули, что на плюсах максимальная производительность, ближе к железу, но там можно себе в ногу выстрелить, а рынок профессионалов не такой большой, и все они дорогие, а хочется джунов нанимать. И запилили они фрейворк https://github.com/userver-framework/userver ваще сорви бошку, но требуется, чтобы в комманде были на код-рьвью хорошие сеньйоры.
</offtopic>

DP> У меня сейчас JNode живет на SQL кластере. В теории можно было иметь
DP> несколько морд.

Прикольно, первый шаг к клаудам.

DP> Но JNode надо выбросить, ее нет смысла допиливать.

Потому что для кофеварок написано? Или опять, весь софт говно? А какой фидософт норм прям?

NA>> Во-вторых, из-за приколов с русскими заменами буков, он становится
NA>> чуть менее чем полностью безнадёжным.
DP> Словоформ то нет! manticore надо. Благо с clickhouse легко женится.

Что это? Я думал, есть ли готовый stemming (быстро), или lemmatization (медленно) для русского с учётом этих всех замен р->p, Н->Н, может ещё какие-то были замены. Я могу их через Levenshtein distance просчитать по униграмам.

Best Regards, Nil
--- GoldED+/LNX 1.1.5

Dmitry Protasoff написал(а) к Nil A в Jan 24 02:07:53 по местному времени:

Нello, Nil!

Wednesday January 31 2024 01:57, you wrote to me:

DP>> Clickhouse тут больше подходит - редкие вставки батчами, при этом
DP>> никаких update - все r/o. Есть поддержка в ORM.

NA> Правильно гутаришь. Яндекс молодцы, отдают в опенсорц.

Там и разработчики все уехали в США, оттуда теперь пишут. Может и ты с ними когда-то пересечешься :)

NA> такой большой, и все они дорогие, а хочется джунов нанимать. И
NA> запилили они фрейворк https://github.com/userver-framework/userver
NA> ваще сорви бошку, но требуется, чтобы в комманде были на код-рьвью
NA> хорошие сеньйоры. </offtopic>

Не, плюсы - это точно не мое. Есть у меня один оупен-сорс продукт на плюсах в хозяйстве, но разработчик умер в КОВИД :(
И не понятно, что с ним делать..

DP>> У меня сейчас JNode живет на SQL кластере. В теории можно было
DP>> иметь несколько морд.

NA> Прикольно, первый шаг к клаудам.

У меня свой клауд :) Это все поднято еще и между странами, на ARM компах, которые стоят в местах моего обитания.
Как раз три ноды.

DP>> Но JNode надо выбросить, ее нет смысла допиливать.

NA> Потому что для кофеварок написано? Или опять, весь софт говно? А какой

Потому что написано на древней джаве, надо на свежие версии портировать, ORM либу выкидывать или как-то тюнить, ибо с SQL там проблемы с производительностью - не в обиду автору, но не продумал он эту часть. Или я просто привык к хорошему, чтобы люди понимали, что будет, если размер твоей базы вырос на пару-тройку порядков.

NA> фидософт норм прям?

Смотря какие у тебя критерии! Вард считает, что D'Bridge :) Я пока никак не считаю, стенд собираю.

DP>> Словоформ то нет! manticore надо. Благо с clickhouse легко
DP>> женится.

NA> Что это? Я думал, есть ли готовый stemming (быстро), или lemmatization

Это такая модная замена Elasticsearch.

NA> (медленно) для русского с учётом этих всех замен р->p, Н->Н, может ещё
NA> какие-то были замены. Я могу их через Levenshtein distance просчитать
NA> по униграмам.

А много ли сейчас кто меняет эти буквы? А в старых текстах проще заменить как положено чтобы было. Благо есть инструменты..

Best regards,
dp.

--- GoldED+/LNX 1.1.5-b20230304

Nil A написал(а) к Dmitry Protasoff в Jan 24 05:28:52 по местному времени:

Нello, Dmitry!

Wednesday January 31 2024 02:07, from Dmitry Protasoff -> Nil A:

NA>> Правильно гутаришь. Яндекс молодцы, отдают в опенсорц.
DP> Там и разработчики все уехали в США, оттуда теперь пишут. Может и ты с
DP> ними когда-то пересечешься :)

Они уезжали два раза в неделю, полные самолёты Москва-Ньюйорк в 90х. Там даже перевод диплома не тробовался. Просто приезжаешь в 5020 и с утра встаёшь в очередь на подачу на ичван, потом шарахаешься по 5020. После обеда выдача паспортов с визами уже, и на вечернем поезде/самолёте домой, паковать чемоданы.
Как сегодняшшние Яндекс девелоперы уезжают в США не знаю.

NA>> Что это? Я думал, есть ли готовый stemming (быстро), или
NA>> lemmatization
DP> Это такая модная замена Elasticsearch.

Мой VP инженеринга (два или три уровня репорта от меня был) ушёл в Эластик на CEO должность. Естессно он написал всем емейл, что эплайтесь на вакансии, а если нет походящей, то создам, нивопрос. Я индусов не люблю, хотя он такой, более-менее Американизированный был, но вакансию под меня не создал, ибо у них Джвава на 100%.

NA>> (медленно) для русского с учётом этих всех замен р->p, Н->Н,
NA>> может ещё какие-то были замены. Я могу их через Levenshtein
NA>> distance просчитать по униграмам.
DP> А много ли сейчас кто меняет эти буквы? А в старых текстах проще
DP> заменить как положено чтобы было. Благо есть инструменты..

В прошлом году был спор, что многие эхи в рулезах всё ещё содержат требование замены буквы upper-н. Немного пердраки подгорели, типа зачем это сегодня. Но всё это не важно во временных рамках фидо. Если задаться идеей найти старые архивы, а они всплывают иногда отдельных эх, не DejaNews->Google Groups уровня конечно, но всё равно, то там для поиска все эти замены важны.

Best Regards, Nil
--- GoldED+/LNX 1.1.5

Sergey Anohin написал(а) к Nil A в Jan 24 12:18:23 по местному времени:

Нello, Nil!

NA> Он скармливает проге, которая понимает RFC заголовки, например innd - вот тебе и база.

Там такие базы - 100 рублей убытка ))

С наилучшими пожеланиями, Sergey Anohin.

--- wfido

Sergey Anohin написал(а) к Dmitry Protasoff в Jan 24 12:20:47 по местному времени:

Нello, Dmitry!

DP> Clickhouse тут больше подходит - редкие вставки батчами, при этом никаких update - все r/o.
DP> Есть поддержка в ORM.

Модно-молодежно, тогда уж сразу надо и роль Ansible писать, чтобы ноды разворачивались как пирожки.
Хотя для этого есть гитлаб. Босс пайплайнами разворачивает фидо :D

С наилучшими пожеланиями, Sergey Anohin.

--- wfido

Dmitry Protasoff написал(а) к Nil A в Jan 24 12:23:54 по местному времени:

Нello, Nil!

Wednesday January 31 2024 05:28, you wrote to me:

NA>>> Правильно гутаришь. Яндекс молодцы, отдают в опенсорц.
DP>> Там и разработчики все уехали в США, оттуда теперь пишут. Может и
DP>> ты с ними когда-то пересечешься :)

NA> Они уезжали два раза в неделю, полные самолёты Москва-Ньюйорк в 90х.

Сейчас тоже каждую неделю уезжают :) Правда прямых рейсов больше нет.

NA> поезде/самолёте домой, паковать чемоданы. Как сегодняшшние Яндекс
NA> девелоперы уезжают в США не знаю.

Много чатиков в телеге, где они это обсуждают.

NA> индусов не люблю, хотя он такой, более-менее Американизированный был,
NA> но вакансию под меня не создал, ибо у них Джвава на 100%.

manticore не на джаве написан, но тоже нашими людьми.

DP>> А много ли сейчас кто меняет эти буквы? А в старых текстах проще
DP>> заменить как положено чтобы было. Благо есть инструменты..

NA> В прошлом году был спор, что многие эхи в рулезах всё ещё содержат
NA> требование замены буквы upper-н. Немного пердраки подгорели, типа
NA> зачем это сегодня. Но всё это не важно во временных рамках фидо. Если
NA> задаться идеей найти старые архивы, а они всплывают иногда отдельных
NA> эх, не DejaNews->Google Groups уровня конечно, но всё равно, то там
NA> для поиска все эти замены важны.

Дык в manticore надо выгружать уже пофиксенные тексты, а в клике хранить оригинал.

Best regards,
dp.

--- GoldED+/LNX 1.1.5-b20230304

Dmitry Protasoff написал(а) к Sergey Anohin в Jan 24 12:25:42 по местному времени:

Нello, Sergey!

Wednesday January 31 2024 12:20, you wrote to me:

DP>> Clickhouse тут больше подходит - редкие вставки батчами, при этом
DP>> никаких update - все r/o. Есть поддержка в ORM.

SA> Модно-молодежно, тогда уж сразу надо и роль Ansible писать, чтобы ноды
SA> разворачивались как пирожки. Хотя для этого есть гитлаб. Босс
SA> пайплайнами разворачивает фидо :D

Развертывание ноды должно заключаться просто в запуске одного файла :)

Best regards,
dp.

--- GoldED+/LNX 1.1.5-b20230304