Разработка парсера образов дисков RT11 Files11 различных БКшных итд для индексации

[SuperMax]

на тему проблемы https://zx-pk.ru/threads/21450-vsjo-...y/page107.html

Есть большой архив софта https://mirrors.pdp-11.ru/ снабженный системой поиска
система поиска использует имена файлов и полного пути для индексации
те достаточно выкладывать файлы или образа дисков в разумную иерархию директорий и имен

Систему поиска можно улучшить - сделать извлекалку списка файлов из образов RT-11 и Files11 под линукс
можно даже на яве (тк индексатор у меня на яве написан)
и тогда система поиска будет искать образа где есть нужный файл

Соответственно необходимо определить следующие важные моменты
1. список расширений файлов с образами которые парсер будет проверять - у меня это dsk img - если есть еще варианты - добавляем
2. список файловых систем которые надо индексировать - RT11 и по каким признакам файловую систему можно быстро и однозначно идентифицировать
3. описание формата файловой системы
тк большим запасом свободного времени увы не обладаю то прошу сразу кидать ccылки или саму документацию
те в случае с БК я честно уже плохо помню как там файлы хранятся в МКДОС-е и уж тем более в CSIDOS
4. какую информацию имеет смысл использовать в индексе - те что кроме имени файла ? дату ? длину ? адрес ?

сам индексатор написан на яве, соответственно если кто-то готов помочь с написанием каких-либо кусков парсера
Вообще мне представляется модульный парсер, который сначала получает путь до файла с нужным расширением (в индексе уже это есть)
затем открывает его, выясняет тип файловой системы, вызывает модуль парсера этой файловой системы, получает список файлов и кладет в базу поиска

принимаются идеи, предложения и помощь тк индексация файлов в образах серьезно улучшит качество архива в целом

[Advertiser]

[Hunta]

4. какую информацию имеет смысл использовать в индексе - те что кроме имени файла ? дату ? длину ? адрес ?

Я для ускорения поиска в своей файловой помойке сохраняю в файле-описателе каталога и хеш файла (сейчас MD5 и SHA1). Соответственно, есть программа, которая для файла вычисляет их же и пробегая по файл-помойке - показывает, где есть ещё файлы с такими же хешами

[Raydac]

архив исходников эмулятора BK содержит парсинг для форматов разных ОС

[shattered]

Парсеров rt-11 имеется в количестве, например
- PUTR (http://www.dbit.com/pub/putr/putr.asm)
- https://gitlab.com/NF6X_Retrocomputing/pyRT11
- rt11dsk (https://github.com/nzeemin/ukncbtl-utils)

Некоторые изыскания по этому поводу -- здесь: https://zx-pk.ru/threads/21137-fajlo...ema-rt-11.html

[nzeemin]

Тоже думал на эту тему.
У Хобота например тоже составлен текстовый индекс файло-архива, но вложенные *.dsk не показаны, плюс есть архивы *.lza, *.lzs, *.fcu итп, хорошо бы их тоже раскрывать, но вопрос чем.
rt11dsk (https://github.com/nzeemin/ukncbtl-utils) можно собрать через make под линуксом.
Помимо имени файла интересно: дата, размер в блоках, размер в байтах, хеши md5/sha1.

[Hunta]

Помимо имени файла интересно: дата

Если бы, как Windows сохранялись даты создания и последней записи - возможно. А так дата в RT-11 - она как бы почти не о чем. В RSX в этом плане дела получше

- - - Добавлено - - -

размер в байтах,

Тоже самое - в RT такого понятия нет, придётся смотреть - какого типа файл и в зависимости от этого ставить или по размеру в блоках или искать - по содержимому и/или служебной информации (для RSX)

[hobot]

хорошо бы их тоже раскрывать, но вопрос чем.

руками содержимое подготовить и внести в данные по вложенным архивам (заняться этим не предлагать!).

предупреждение к оглавлению в общедоступном архиве - достаточно информативное, о том что оно содержит и не содержит, более подробная информация (как правило) находится уже внутри папок с образами, кто лазил туда - тот всё сам видел - читал. Не смотря на критику (супер знатоков как надо делать) - количество обращений к архиву и смежным темам на нескольких форумах растёт (имею в виду суточные просмотры - статистика косвенная), по поводу критики, могу добавить : у одного из главных ненавистников архива есть свой сайт дико правильно оформленный с занудством до каждой буковки не докопаешься, табличками и прочее, кто про него знает? кто его видел? (я знаю и видел - поскольку сочувствую проблеме и интересуюсь любыми материалами вообще по теме), а критикуемый архив - знает толпа людей, в том числе за пределами РФ (чуть не написал Кольцевого шоссе), очень, кстати говоря, отрадно, что такой важный и уже знакомый олдовый ресурс - сайт Арсения Гордина - очень красочное переживает переоформление! На данном этапе я не планирую глобально что-то менять у себя на сайте. Спасибо.

[shattered]

архивы *.lza, *.lzs, *.fcu итп, хорошо бы их тоже раскрывать, но вопрос чем.

запускать в эмуляторе rt11 соотв. архиватор?

[hobot]

запускать в эмуляторе rt11 соотв. архиватор?

c ключом текущей задачи! гениально! просмотр(состав архива), распаковка отдельного файла, там всё это ест

[SuperMax]

запускать в эмуляторе rt11 соотв. архиватор?

слона надо есть по частям

сейчас первая часть - идентификация типа образа
вопрос открытый
те сколько читать в начале образа для гарантированного распознавания ?
как распознавать ?