Разработка парсера образов дисков RT11 Files11 различных БКшных итд для индексации

[SuperMax]

на тему проблемы https://zx-pk.ru/threads/21450-vsjo-...y/page107.html

Есть большой архив софта https://mirrors.pdp-11.ru/ снабженный системой поиска
система поиска использует имена файлов и полного пути для индексации
те достаточно выкладывать файлы или образа дисков в разумную иерархию директорий и имен

Систему поиска можно улучшить - сделать извлекалку списка файлов из образов RT-11 и Files11 под линукс
можно даже на яве (тк индексатор у меня на яве написан)
и тогда система поиска будет искать образа где есть нужный файл

Соответственно необходимо определить следующие важные моменты
1. список расширений файлов с образами которые парсер будет проверять - у меня это dsk img - если есть еще варианты - добавляем
2. список файловых систем которые надо индексировать - RT11 и по каким признакам файловую систему можно быстро и однозначно идентифицировать
3. описание формата файловой системы
тк большим запасом свободного времени увы не обладаю то прошу сразу кидать ccылки или саму документацию
те в случае с БК я честно уже плохо помню как там файлы хранятся в МКДОС-е и уж тем более в CSIDOS
4. какую информацию имеет смысл использовать в индексе - те что кроме имени файла ? дату ? длину ? адрес ?

сам индексатор написан на яве, соответственно если кто-то готов помочь с написанием каких-либо кусков парсера
Вообще мне представляется модульный парсер, который сначала получает путь до файла с нужным расширением (в индексе уже это есть)
затем открывает его, выясняет тип файловой системы, вызывает модуль парсера этой файловой системы, получает список файлов и кладет в базу поиска

принимаются идеи, предложения и помощь тк индексация файлов в образах серьезно улучшит качество архива в целом

[Advertiser]

[Hunta]

4. какую информацию имеет смысл использовать в индексе - те что кроме имени файла ? дату ? длину ? адрес ?

Я для ускорения поиска в своей файловой помойке сохраняю в файле-описателе каталога и хеш файла (сейчас MD5 и SHA1). Соответственно, есть программа, которая для файла вычисляет их же и пробегая по файл-помойке - показывает, где есть ещё файлы с такими же хешами

[Raydac]

архив исходников эмулятора BK содержит парсинг для форматов разных ОС

[shattered]

Парсеров rt-11 имеется в количестве, например
- PUTR (http://www.dbit.com/pub/putr/putr.asm)
- https://gitlab.com/NF6X_Retrocomputing/pyRT11
- rt11dsk (https://github.com/nzeemin/ukncbtl-utils)

Некоторые изыскания по этому поводу -- здесь: https://zx-pk.ru/threads/21137-fajlo...ema-rt-11.html

[nzeemin]

Тоже думал на эту тему.
У Хобота например тоже составлен текстовый индекс файло-архива, но вложенные *.dsk не показаны, плюс есть архивы *.lza, *.lzs, *.fcu итп, хорошо бы их тоже раскрывать, но вопрос чем.
rt11dsk (https://github.com/nzeemin/ukncbtl-utils) можно собрать через make под линуксом.
Помимо имени файла интересно: дата, размер в блоках, размер в байтах, хеши md5/sha1.

[Hunta]

Помимо имени файла интересно: дата

Если бы, как Windows сохранялись даты создания и последней записи - возможно. А так дата в RT-11 - она как бы почти не о чем. В RSX в этом плане дела получше

- - - Добавлено - - -

размер в байтах,

Тоже самое - в RT такого понятия нет, придётся смотреть - какого типа файл и в зависимости от этого ставить или по размеру в блоках или искать - по содержимому и/или служебной информации (для RSX)

[SuperMax]

Спасибо всем за участие!

итого получается:
1. парсер образов RT11 возьму rt11dsk - немного подпилю для удобства вызова
2. открытый вопрос по идентификации файловой системы образа
те хорошо бы какой-то список сигнатур или иных простых признаков
дабы можно было на сях написать идентификатор который бы возвращал результат типа FS в базу


Обдумываю структуру таблиц для сохранения информации
1. табличка с информацией о самом образе
- тип файловой системы в разрезе выбора парсера
- имя тома
- владелец
- id системы
- размер в блоках


2. табличка с информацией о файле - список сохраняемой информации
-имя файла
-количество блоков
-дата
-размер в байтах
-адрес
-хеш

[nzeemin]

Всё же хеши было бы оч хорошо иметь, дублированных файлов бывает очень много.
Вспомнил что для УКНЦ ещё используется формат дисков *.rtd - для системы Net-RT11, отличается заголовком в 256 байт, rt11dsk это учитывает.

Ну и удачи в этом деле, иметь текстовое оглавление всего архива - это было бы очень полезно.

[xolod]

Для инфо
http://www.trailing-edge.com/~shoppa/rt11fs/
https://github.com/aaru-dps/Aaru/blo...ystems/RT11.cs

[SuperMax]

Всё же хеши было бы оч хорошо иметь, дублированных файлов бывает очень много.

есть возможность прикрутить это в rt11dsk в режиме листинга ? тк это у тебя получится быстрее чем у меня пока я разберусь что и где
или явно подсказать куда смотреть

Вспомнил что для УКНЦ ещё используется формат дисков *.rtd - для системы Net-RT11, отличается заголовком в 256 байт, rt11dsk это учитывает.
Ну и удачи в этом деле, иметь текстовое оглавление всего архива - это было бы очень полезно.

спасибо!