Как правильно сделать hpt post?

Nil A написал(а) к Anton Ryzhkov в Aug 23 18:38:12 по местному времени:

Нello, Anton!

Thursday August 10 2023 18:28, from Anton Ryzhkov -> Nil A:

AR> Я сначала попробовал какую-то софтину на яве (на том же хостинге), не
AR> помню, как называется. Вот там тормоза дикие были.

JNode. Особо других пейсателей на Джаве не наблюдалось.

Best Regards, Nil
--- GoldED+/LNX 1.1.5

Anton Ryzhkov написал(а) к Nil A в Aug 23 18:41:34 по местному времени:

Привет, Nil!

Ответ на сообщение Nil A (2:5015/46) к Anton Ryzhkov, написанное 10 авг 23 в 18:34:

AR>> засунул в тоссинг scan. Вот оно и... Сканило. Не очень только
AR>> понятно, почему время отработки скрипта разное было - то
AR>> несколько минут, то до 20-ти доходило.
NA> Дай угадаю, у тебя используется EchoTossLog файл, и он уже вырос на
NA> мегабайты, и htp scan просто по-кругу одни и теже файлы баз сканит.

Не, за разрастающимися логами слежу, а вот то, что базы надо периодически пуржить - как-то забыл совсем. Надо будет их вообще все в passthrough перевести.


С уважением, Anton
--- GoldED+/W32-MINGW 1.1.5-b20120519, Telegram, Gmail: rantonv

Anton Ryzhkov написал(а) к Nil A в Aug 23 18:44:58 по местному времени:

Привет, Nil!

Ответ на сообщение Nil A (2:5015/46) к Anton Ryzhkov, написанное 10 авг 23 в 18:38:

AR>> Я сначала попробовал какую-то софтину на яве (на том же
AR>> хостинге), не помню, как называется. Вот там тормоза дикие были.
NA> JNode. Особо других пейсателей на Джаве не наблюдалось.

О, точно, оно.


С уважением, Anton
--- GoldED+/W32-MINGW 1.1.5-b20120519, Telegram, Gmail: rantonv

Nil A написал(а) к Anton Ryzhkov в Aug 23 19:06:08 по местному времени:

Нello, Anton!

Thursday August 10 2023 18:41, from Anton Ryzhkov -> Nil A:

NA>> Дай угадаю, у тебя используется EchoTossLog файл, и он уже вырос
NA>> на мегабайты, и htp scan просто по-кругу одни и теже файлы баз
NA>> сканит.
AR> Не, за разрастающимися логами слежу,

Это не лог, это семафор-файл. В голдед конфиге это называется "SEMAPНORE IMPORTLIST" и "SEMAPНORE EXPORTLIST". А хаски, соответственно "ImportLog" и "EchoTossLog".

Эти семафор-файлы могут очень даже разрастаться, если ничего не делать. Как следствие, голдед может запускаться секунд несколько, или вот hpt scan может думать долго.

AR> а вот то, что базы надо периодически пуржить - как-то забыл совсем.
AR> Надо будет их вообще все в passthrough перевести.

Если это робот-эхи, с автопостингом, или rss-фиды, или телеграм-гейты, то ценность таким эхам стремиться к нулю, а значит пуржить 30 дней, например. Если это UUE эхи, то тоже пуржить. Если это человеческие эхи - а вот не пуржи, и лет через 15 тебя кто-нибудь спросит: "а есть у кого-нибудь старые spb.sysop?", вдруг вспомнят, что был такой интересный персонаж в фидо ;-) В passthrough переводи всякие Usenet гейтуемые эхи, ибо им не место в фидо, или пуржи раз в неделю.

Best Regards, Nil
--- GoldED+/LNX 1.1.5

Anton Ryzhkov написал(а) к Nil A в Aug 23 19:24:48 по местному времени:

Привет, Nil!

Ответ на сообщение Nil A (2:5015/46) к Anton Ryzhkov, написанное 10 авг 23 в 19:06:

NA> Эти семафор-файлы могут очень даже разрастаться, если ничего не
NA> делать. Как следствие, голдед может запускаться секунд несколько, или
NA> вот hpt scan может думать долго.

ImportLog на несколько мегабайт есть. Он сравним по размеру с обычными ежедневными логами, поэтому не трогал, думал - пусть живёт этот непонятный зверь.
А что с ним делать? Просто грохать периодически? Или очищать? Или обрезать?

NA> - а вот не пуржи, и лет через 15 тебя кто-нибудь спросит: "а есть у
NA> кого-нибудь старые spb.sysop?", вдруг вспомнят, что был такой
NA> интересный персонаж в фидо ;-) В passthrough переводи всякие Usenet
NA> гейтуемые эхи, ибо им не место в фидо, или пуржи раз в неделю.

Я себе сделал читалку в вебе, поэтому всё подряд (вне зависимости в passthrough оно или нет) в базу ClickНouse складывается, а там уже ничего не удаляется.


С уважением, Anton
--- GoldED+/W32-MINGW 1.1.5-b20120519, Telegram, Gmail: rantonv

Nil A написал(а) к Anton Ryzhkov в Aug 23 19:46:26 по местному времени:

Нello, Anton!

Thursday August 10 2023 19:24, from Anton Ryzhkov -> Nil A:
NA>> Эти семафор-файлы могут очень даже разрастаться, если ничего не
NA>> делать. Как следствие, голдед может запускаться секунд несколько,
NA>> или вот hpt scan может думать долго.

AR> ImportLog на несколько мегабайт есть. Он сравним по размеру с обычными
AR> ежедневными логами, поэтому не трогал, думал - пусть живёт этот
AR> непонятный зверь. А что с ним делать? Просто грохать периодически? Или
AR> очищать? Или обрезать?

LinkWithImportLog Kill

NA>> - а вот не пуржи, и лет через 15 тебя кто-нибудь спросит: "а есть
NA>> у кого-нибудь старые spb.sysop?", вдруг вспомнят, что был такой
NA>> интересный персонаж в фидо ;-) В passthrough переводи всякие
NA>> Usenet гейтуемые эхи, ибо им не место в фидо, или пуржи раз в
NA>> неделю.

AR> Я себе сделал читалку в вебе,

wfido, webfido,..?

AR> поэтому всё подряд (вне зависимости в passthrough оно или нет) в базу
AR> ClickНouse складывается, а там уже ничего не удаляется.

Любишь продукты от Яндекса? ;-) Поддержи отечественного производителя?

Best Regards, Nil
--- GoldED+/LNX 1.1.5

Anton Ryzhkov написал(а) к Nil A в Aug 23 19:50:42 по местному времени:

Привет, Nil!

Ответ на сообщение Nil A (2:5015/46) к Anton Ryzhkov, написанное 10 авг 23 в 19:46:

AR>> ImportLog на несколько мегабайт есть. Он сравним по размеру с
AR>> обычными ежедневными логами, поэтому не трогал, думал - пусть
AR>> живёт этот непонятный зверь. А что с ним делать? Просто грохать
AR>> периодически? Или очищать? Или обрезать?
NA> LinkWithImportLog Kill

Ага, спасибо.

AR>> Я себе сделал читалку в вебе,
NA> wfido, webfido,..?

Я иногда люблю свои велосипеды, когда скучно. Пусть кривенько, зато своё :)
https://f1081.n5030.ru/golded.php

AR>> поэтому всё подряд (вне зависимости в passthrough оно или нет) в
AR>> базу ClickНouse складывается, а там уже ничего не удаляется.
NA> Любишь продукты от Яндекса? ;-) Поддержи отечественного производителя?

У меня в одном проекте бигдата на этой базе - шустренько, поэтому и тут использовал


С уважением, Anton
--- GoldED+/W32-MINGW 1.1.5-b20120519, Telegram, Gmail: rantonv

Nil A написал(а) к Anton Ryzhkov в Aug 23 20:33:14 по местному времени:

Нello, Anton!

Thursday August 10 2023 19:50, from Anton Ryzhkov -> Nil A:

AR>>> Я себе сделал читалку в вебе,
NA>> wfido, webfido,..?
AR> Я иногда люблю свои велосипеды, когда скучно. Пусть кривенько, зато
AR> своё :)
AR> https://f1081.n5030.ru/golded.php

Выглядит красиво. С мобильных браузеров заходит норм? Тут вопрос был, что на Андроиде/Айфоне использовать для фидо. Ну помимо гейтования в NNTP, с кривыми клиентами, с кривыми квотами,... можно просто webfido (не путать с wfido, или наоборот?). Даже на Nokia E72 так можно фидо читать/писать.

NA>> Любишь продукты от Яндекса? ;-) Поддержи отечественного
NA>> производителя?
AR> У меня в одном проекте бигдата на этой базе - шустренько, поэтому и
AR> тут использовал

Про бигдаду мне нравится цитата.

> Big data is like teenage sex: everyone talks about it, nobody really
> knows how to do it, everyone thinks everyone else is doing it, so
> everyone claims they are doing it..."

Best Regards, Nil
--- GoldED+/LNX 1.1.5

Anton Ryzhkov написал(а) к Nil A в Aug 23 21:01:44 по местному времени:

Привет, Nil!

Ответ на сообщение Nil A (2:5015/46) к Anton Ryzhkov, написанное 10 авг 23 в 20:33:

AR>> Я иногда люблю свои велосипеды, когда скучно. Пусть кривенько,
AR>> зато своё :)
AR>> https://f1081.n5030.ru/golded.php
NA> Выглядит красиво. С мобильных браузеров заходит норм?

Ну, так, более или менее.

NA> Тут вопрос был, что на Андроиде/Айфоне использовать для фидо.

Я вот AfterShock попробовал - не очень понравилось. Вроде и работает, но как-то не так. НotdogEd пробовал - тоже не очень зашло. А больше вроде бы и нет ничего?

NA>>> Любишь продукты от Яндекса? ;-) Поддержи отечественного
NA>>> производителя?
AR>> У меня в одном проекте бигдата на этой базе - шустренько, поэтому
AR>> и тут использовал
NA> Про бигдаду мне нравится цитата.

Ну, может и не бигдата, тут да, у всех свои определения. Примерно 50 млн. новых записей в сутки. Всё должно записываться, анализироваться и отдаваться как минимум за несколько лет. По нынешним меркам вроде бы соответствует определению. Ну а нет, так нет :)



С уважением, Anton
--- GoldED+/W32-MINGW 1.1.5-b20120519, Telegram, Gmail: rantonv

Dima Krylov написал(а) к Anton Ryzhkov в Aug 23 21:55:38 по местному времени:

Привет тебе, Anton!

Kaк-тo нa дняx (10 авг 23) Anton Ryzhkov пишeт к Nil A...

[ ... ]

AR> Я сначала попробовал какую-то софтину на яве (на том же хостинге), не
AR> помню, как называется. Вот там тормоза дикие были.
jNode? ;-)

Оно у меня очень сильно тормозило от увеличения сообщений в базе данных.



--- GoldED-NSF