Разработка парсера образов дисков RT11 Files11 различных БКшных итд для индексации

[SuperMax]

Итого:

1. демон-хешер обработал уже 4'6 млн файлов. вывод хешей файлов еще не сделал - надо разбираться с CSS - форматирование съезжает.
2. на данный момент распознано дисков RT11 в распакованном виде (те не в архиве) 784шт
3. написана "вызывалка" парсеров контейнеров, сейчас работает только на один вид RT11 но тк задача решена в общем виде, то достаточно добавить файл парсера + в базе прописать как его вызывать
ну и для новых типов контейнеров дописать их распознавание
4. написан универсальный настраиваемый парсер результатов выдачи парсеров контейнеров - те можно в базе сразу настроить какие поля и как брать, сделана поддержка хешей и доп.информации
5. первая порция загружена и проиндексирована

поиск работает:
https://mirrors.pdp-11.ru/search.php...+.TEC++&page=1
5й результат это как раз контейнер DSK


Что планируется:
1. расширение зоны поиска - те сейчас сканер файлов работает только на mirrors.pdp-11.ru, планируется добавить всю зону pdp-11.ru, те туда попадет и архив Хобота. те поиск на https://mirrors.pdp-11.ru/ будет выдавать результаты со всего pdp-11.ru
2. расширение списка поддерживаемых контейнеров и модулей извлечения
3. доработка модулей извлечения - дабы они выдавали хеш
4. каскадирование модулей извлечения - те DSK в архиве, архив рассматривается как контейнер, DSK тоже. индексируются файлы и в архиве и в самом контейнере. если в самом DSK есть вложенный логический диск то его тоже извлекаем и индексируем.

Принимается помощь в виде:
1. формализованных правил определения типа контейнера
2. исходники ПО работы с контейнерами - те нужно а) выдавать листинг с хешами б) извлекать файл
исходники на С/С++ тк все ПО работает на Linux

[Advertiser]

[hobot]

SuperMax, я вот о чём,
в первое сообщение (шапку) темы по архиву доб. ссылки с инф. строкой
https://zx-pk.ru/threads/16861-poisk...l=1#post417669

а хочется многого (как всегда!),
иметь на главной мордочке архива строку поиска и кнопку отправляющую запрос и активизирующая
поиск по твоей ссылке, и в оглавлении что то такое подвесить сразу после текстового предупреждения.

не совсем представляю насколько это сложно и возможно ли в принципе?

- - - Добавлено - - -



у себя этих BUP(три пробела).SAV - штук 8 с разных систем (соотв. разных версий\размеров) ,
это всё не зархивированные образы RT-11

[SuperMax]

SuperMax, я вот о чём,
в первое сообщение (шапку) темы по архиву доб. ссылки с инф. строкой
https://zx-pk.ru/threads/16861-poisk...l=1#post417669

а хочется многого (как всегда!),
иметь на главной мордочке архива строку поиска и кнопку отправляющую запрос и активизирующая
поиск по твоей ссылке, и в оглавлении что то такое подвесить сразу после текстового предупреждения.

я правильно понял про встраивание поиска в http://hobot.pdp-11.ru/ ?

не совсем представляю насколько это сложно и возможно ли в принципе?

встроить в http://hobot.pdp-11.ru/ можно
а в http://archive.pdp-11.org.ru/ очевидно нет тк код не сможет обращаться к базе с запросами
[строить сложную систему с API для обслуживания внешних сайтов не планирую]


у себя этих BUP(три пробела).SAV - штук 8 с разных систем (соотв. разных версий\размеров) ,
это всё не зархивированные образы RT-11[/QUOTE]
так пока индексирование еще не работает по всему *.pdp-11.ru, но это в ближайших планах, да.

[hobot]

встроить в http://hobot.pdp-11.ru/ можно
а в http://archive.pdp-11.org.ru/ очевидно нет тк код не сможет обращаться к базе с запросами
[строить сложную систему с API для обслуживания внешних сайтов не планирую]

понял, тогда позже сделаю просто ссылку как на поисковик по глобал.арх.

[SuperMax]

Поисковый движок сейчас работает в автоматическом режиме обновления информации

а именно полный цикл обновления информации производится каждую неделю

ближайшие планы:
1. добавить обработку архивов, рекурсивную, с вычислением хешей для начала
2. подключить openMSX-базу ROMов для идентификации ROM-ов