Описание к эхам

Nil A написал(а) к Dmitriy Orlov в Jan 22 21:37:54 по местному времени:

Нello, Dmitriy!

Saturday January 29 2022 00:21, from Dmitriy Orlov -> Nil A:

DO> Я уже понял что ты имел ввиду! Всё у всех по разному, чтоб начало
DO> что-то получаться, приходится сначала приводить все к одному виду:
DO> ECНO.TAG Описание конференции

Видишь, если ты делаешь на скриптах, то у тебя образуется много врЕменных файлов, где ты хранишь промежуточные результаты вычислений.
Если ты это делаешь на ЯП, то это разные списочки в памяти, или хеши даже.

DO> Чтоб не запутаться я разбил всё на разные скрипты, у меня их сейчас 6
DO> штук и я получил первый список недостающих описаний :-)

Вот ты не слушаешь старших. Если тебе просто из А сделать Б, то шел скрипт в самый раз, а твой квест подразумевает много разных логический ветвлений. Сейчас у тебя 6 скриптов, потом двацать шесть, потом ты начинаешь в шелле использовать функции, или уже? Кстати, когда тебе функций в шелле перестанет хватать, то можно начать в скрипте использовать классы и объекты, и такой скрипт называется питон.

DO> Начал пока с небольших линков, эхи которые понятны по смылу эхотага я
DO> опишу сам, а что не понтяно отправил вопрос сисофону, пусть сам
DO> описывает. Скоро дойду до 5020/1042, вот настанет то веселье :)))

Качество твоих скриптов нужно проверить на повторяемость. Есть файлы на входе, есть файл с комбинированным списком на выходе - и ни каких ручных манипуляций в середине.

DO> Да. И похоже есть часть описаний у другого линка, и еще часть можно
DO> дернуть с описаний эхобона. Вот думаю как лучше всё это скомпоновать в
DO> один файл...:

Ты читал моё предыдущее письмо, с чем ты сталкнёшься, когда будешь реализовывать?

DO> 1. Привести к единому формату

Функция загрузки разных входных файлов, будь то areas.bbs, или вывод areafix %list, к "словарю": ключ=эха, значение=описание. У меня там более сложный объект, я ещё храню флашки - подписан, не подписан у этого линка, также можно сресканить базу или нет.

DO> 2. Слить всё в один файл

См выше, на шеле ты оперируешь промежуточными временными файлами.

DO> 3. Отсортировать
DO> 4. Удалить дюпы

В конце концов ты придёшь к тому, что надо будет выбирать, с кого линка более "кашерны"е описания эхи - тогда см. моё предыдущее письмо

DO> Если следовать таким курсом, шеллом удастся удалить дюпы (строки) при
DO> совпадении эхотага?

Пока ты не наберёшь критическую массу и.. кстати, сам по себе AWK очень даже скрипт, и можно на нём всё писать, только так делали в начале 90х, потом стали пейсать на Пёрле, ибо он заменил grep+sed+awk, потом пёрл стал не торт и щас лидирует питон, на нём ещё можно все эти дип-лёрнинги делать.

Best Regards, Nil
--- GoldED+/LNX 1.1.5

Dmitriy Orlov написал(а) к Michael Dukelsky в Jan 22 22:13:28 по местному времени:

Нello Michael!

28 Jan 22, Michael Dukelsky wrote to Dmitriy Orlov:

DO>> Если следовать таким курсом, шеллом удастся удалить дюпы (строки)
DO>> при совпадении эхотага?
MD> sort -u
Похоже это работает только если строки полностью идентичны, а мой файл выглядит сейчас вот так:

=== Cut ===
ADEPT_SYSOP AdeptXBBS Sysop-Only Нelp and Discussion Group
ADINF.SUPPORT Антивиpусная поддеpжка
ADINF.SUPPORT Об антивирусах ADinf/Dr.Web/Aidstest
ADS_ANNOUNCE ADS File Announcements
=== Cut ===

Некоторые эхи дублируются.

Я попробовал сделать другой файл содержащий только эхотаг, без описания, тогда sort -u отработал хорошо! Тогда я попробовал снова сопоставить описания с помощью join, но он тоже пустил на вывод продублированные строки :(

Bye,
Dmitry.

--- GoldED/2 3.00.Beta5 UNREG

Dmitriy Orlov написал(а) к Nil A в Jan 22 21:54:50 по местному времени:

Нello Nil!

28 Jan 22, Nil A wrote to Dmitriy Orlov:

DO>> Я уже понял что ты имел ввиду! Всё у всех по разному, чтоб начало
DO>> что-то получаться, приходится сначала приводить все к одному
DO>> виду: ECНO.TAG Описание конференции
NA> Видишь, если ты делаешь на скриптах, то у тебя образуется много
NA> врЕменных файлов, где ты хранишь промежуточные результаты вычислений.
NA> Если ты это делаешь на ЯП, то это разные списочки в памяти, или хеши
NA> даже.
Но программистами за пару дней не становятся, а вот подучить команды в шеле в принципе по зубам.

DO>> Чтоб не запутаться я разбил всё на разные скрипты, у меня их
DO>> сейчас 6 штук и я получил первый список недостающих описаний :-)
NA> Вот ты не слушаешь старших. Если тебе просто из А сделать Б, то шел
NA> скрипт в самый раз, а твой квест подразумевает много разных логический
NA> ветвлений. Сейчас у тебя 6 скриптов, потом двацать шесть, потом ты
NA> начинаешь в шелле использовать функции, или уже? Кстати, когда тебе
NA> функций в шелле перестанет хватать, то можно начать в скрипте
NA> использовать классы и объекты, и такой скрипт называется питон.
Слушаю-слушаю! Я уже понял что для этой задачи шел не подходит, но может помочь частично облегчить задачу. Все равно прежде чем изучать ЯП надо же повариться во всём этом, потыркаться-помыкаться, понять, почувствовать потребности.

DO>> Начал пока с небольших линков, эхи которые понятны по смылу
DO>> эхотага я опишу сам, а что не понтяно отправил вопрос сисофону,
DO>> пусть сам описывает. Скоро дойду до 5020/1042, вот настанет то
DO>> веселье :)))
NA> Качество твоих скриптов нужно проверить на повторяемость. Есть файлы
NA> на входе, есть файл с комбинированным списком на выходе - и ни каких
NA> ручных манипуляций в середине.
Да какое там качество, так черновики... Но я и этому рад :)

DO>> Да. И похоже есть часть описаний у другого линка, и еще часть
DO>> можно дернуть с описаний эхобона. Вот думаю как лучше всё это
DO>> скомпоновать в один файл...:
NA> Ты читал моё предыдущее письмо, с чем ты сталкнёшься, когда будешь
NA> реализовывать?
Да, с кривыми описаниями.

DO>> 1. Привести к единому формату
NA> Функция загрузки разных входных файлов, будь то areas.bbs, или вывод
NA> areafix %list, к "словарю": ключ=эха, значение=описание. У меня там
NA> более сложный объект, я ещё храню флашки - подписан, не подписан у
NA> этого линка, также можно сресканить базу или нет.
Ну это очень круто. Это уже прям МФУ :)
Может у тебя уже готовый список с описанием эх есть? :)

Bye,
Dmitry.

--- GoldED/2 3.00.Beta5 UNREG

Michael Dukelsky написал(а) к Dmitriy Orlov в Jan 22 19:33:40 по местному времени:

Привет, Dmitriy!

29 January 2022 22:13, Dmitriy Orlov послал(а) письмо к Michael Dukelsky:

DO>>> Если следовать таким курсом, шеллом удастся удалить дюпы
DO>>> (строки) при совпадении эхотага?
MD>> sort -u
DO> Похоже это работает только если строки полностью идентичны, а мой файл
DO> выглядит сейчас вот так:

DO> === Cut ===
DO> ADEPT_SYSOP AdeptXBBS Sysop-Only Нelp and Discussion Group
DO> ADINF.SUPPORT Антивиpусная поддеpжка
DO> ADINF.SUPPORT Об антивирусах ADinf/Dr.Web/Aidstest
DO> ADS_ANNOUNCE ADS File Announcements
DO> === Cut ===

Ну, значит пиши скрипт.

Желаю успехов, Dmitriy!
За сим откланиваюсь, Michael.

... node (at) f1042 (dot) ru
--- GoldED+/LNX 1.1.5-b20180707

Nil A написал(а) к Dmitriy Orlov в Jan 22 19:39:24 по местному времени:

Нello, Dmitriy!

Saturday January 29 2022 21:54, from Dmitriy Orlov -> Nil A:

DO> Но программистами за пару дней не становятся, а вот подучить команды в
DO> шеле в принципе по зубам.

Все программисты с чего-то начинали.

DO> Может у тебя уже готовый список с описанием эх есть? :)

Я своим скриптом нагенерировал вот такой список
$ wc -l echo5015-46.list
9147 echo5015-46.list

https://www.dropbox.com/s/pqxi99niy8....list.zip?dl=0

Best Regards, Nil
--- GoldED+/LNX 1.1.5

Dmitriy Romanov написал(а) к Dmitriy Orlov в Jan 22 22:09:56 по местному времени:


Приветики, Dmitriy!


Писал как-то Dmitriy Orlov к Dmitriy Romanov примерно 28 Янв 22 в 21:46
А я смотрю и фигею.

DO>>> В общем я увлёкся сабжем и решил создать файл с описанием ваще
DO>>> всех эх со всех линков :-\ Потом сделать этот файл доступным
DO>>> фидошной общественности, вдруг кому-то пригодится :)
DO>>> Чтоб начать мне надо понимать к каким именно эхам у меня нет
DO>>> описания. Вот например мой файл с описаниями:
DR>> Еще немного и ты придумаешь грузить их в базу данных =)
DO> Я раньше вообще импортировал в эксель, там всё это как-то сортировал, потом
DO> выгружал обратно, но это всё было настолько мутрно, что второй раз я уже так
DO> делать не стал :)
ексель заменить на базу данных (да хоть дбф), а потом уже оттуда селектом по любым признакам какие только нравятся и их
комбинациям.

На сем разрешите письмо закончить. Elec (RA2FDR)
--- NoSFeRaTU's GoldED+/W32-MINGW 1.1.5-b20090603

Dmitriy Orlov написал(а) к Nil A в Jan 22 10:51:59 по местному времени:

Нello Nil!

29 Jan 22, Nil A wrote to Dmitriy Orlov:

DO>> Но программистами за пару дней не становятся, а вот подучить
DO>> команды в шеле в принципе по зубам.
NA> Все программисты с чего-то начинали.
Приступаю к гуглению и поискам по этой теме...

DO>> Может у тебя уже готовый список с описанием эх есть? :)
NA> https://www.dropbox.com/s/pqxi99niy8....list.zip?dl=0
Спасибо!!

Bye,
Dmitry.

--- GoldED/2 3.00.Beta5 UNREG

Dmitriy Orlov написал(а) к Dmitriy Romanov в Jan 22 10:55:37 по местному времени:

Нello Dmitriy!

29 Jan 22, Dmitriy Romanov wrote to Dmitriy Orlov:

DO>> Я раньше вообще импортировал в эксель, там всё это как-то
DO>> сортировал, потом выгружал обратно, но это всё было настолько
DO>> мутрно, что второй раз я уже так делать не стал :)
DR> ексель заменить на базу данных (да хоть дбф), а потом уже оттуда
DR> селектом по любым признакам какие только нравятся и их комбинациям.
Да, идея хороша! Потом еще можно будет сделать интерфейс и запустить сервер описаний для загрузки последних обновлений описаний :)

Bye,
Dmitry.

--- GoldED/2 3.00.Beta5 UNREG

Eugene Grosbein написал(а) к Dmitriy Orlov в Jan 22 18:26:01 по местному времени:

29 янв. 2022, суббота, в 00:21 NOVT, Dmitriy Orlov написал(а):

DO> 1. Привести к единому формату
DO> 2. Слить всё в один файл
DO> 3. Отсортировать
DO> 4. Удалить дюпы
DO> Если следовать таким курсом, шеллом удастся удалить дюпы (строки) при
DO> совпадении эхотага?

sort -uk1

Комада sort умеет сортировать данные, используя в качестве ключа
не всю строку, заданный набор столбцов. Кроме того, она умеет
удалять из выдачи строки с повторяющимся значением ключа.

Eugene
--
Научить не кланяться авторитетам, а исследовать их и сравнивать их поучения
с жизнью. Научить настороженно относиться к опыту бывалых людей, потому что
жизнь меняется необычайно быстро.
--- slrn/1.0.3 (FreeBSD)

Eugene Grosbein написал(а) к Nil A в Jan 22 20:33:19 по местному времени:

27 янв. 2022, четверг, в 21:24 NOVT, Nil A написал(а):

NA> шелл-скрипт будет разрастаться и становится сильно кудрявым и малоуправляемым

Тащем-то это не зависит от языка. При разрастании кода что на шелле,
что на любом другом хотя б скольк-нибудь вменяемом языке
управляемость программы определяется программистом, а не языком.

Для обработки текста в шелле вполне достаточно языковых средств,
включая дополнительные потоки данных (кроме stdin/stdout/stderr
можно создавать свои), функции с локальными переменными,
ассоциативные массивы и т.п. Не очень хорошо только со скоростью
обработки действительно больших объёмов данных шелл-циклами
и с вычислениями с плавающей точкой. Остальное для обработки
текста в нём неплохо.

Eugene
--- slrn/1.0.3 (FreeBSD)