Разработка парсера образов дисков RT11 Files11 различных БКшных итд для индексации

на тему проблемы https://zx-pk.ru/threads/21450-vsjo-...y/page107.html

Есть большой архив софта https://mirrors.pdp-11.ru/ снабженный системой поиска
система поиска использует имена файлов и полного пути для индексации
те достаточно выкладывать файлы или образа дисков в разумную иерархию директорий и имен

Систему поиска можно улучшить - сделать извлекалку списка файлов из образов RT-11 и Files11 под линукс
можно даже на яве (тк индексатор у меня на яве написан)
и тогда система поиска будет искать образа где есть нужный файл

Соответственно необходимо определить следующие важные моменты
1. список расширений файлов с образами которые парсер будет проверять - у меня это dsk img - если есть еще варианты - добавляем
2. список файловых систем которые надо индексировать - RT11 и по каким признакам файловую систему можно быстро и однозначно идентифицировать
3. описание формата файловой системы
тк большим запасом свободного времени увы не обладаю то прошу сразу кидать ccылки или саму документацию
те в случае с БК я честно уже плохо помню как там файлы хранятся в МКДОС-е и уж тем более в CSIDOS
4. какую информацию имеет смысл использовать в индексе - те что кроме имени файла ? дату ? длину ? адрес ?

сам индексатор написан на яве, соответственно если кто-то готов помочь с написанием каких-либо кусков парсера
Вообще мне представляется модульный парсер, который сначала получает путь до файла с нужным расширением (в индексе уже это есть)
затем открывает его, выясняет тип файловой системы, вызывает модуль парсера этой файловой системы, получает список файлов и кладет в базу поиска

принимаются идеи, предложения и помощь тк индексация файлов в образах серьезно улучшит качество архива в целом

Цитата:

---

Сообщение от SuperMax

4. какую информацию имеет смысл использовать в индексе - те что кроме имени файла ? дату ? длину ? адрес ?

---

Я для ускорения поиска в своей файловой помойке сохраняю в файле-описателе каталога и хеш файла (сейчас MD5 и SHA1). Соответственно, есть программа, которая для файла вычисляет их же и пробегая по файл-помойке - показывает, где есть ещё файлы с такими же хешами

архив исходников эмулятора BK содержит парсинг для форматов разных ОС

Парсеров rt-11 имеется в количестве, например
- PUTR (http://www.dbit.com/pub/putr/putr.asm)
- https://gitlab.com/NF6X_Retrocomputing/pyRT11
- rt11dsk (https://github.com/nzeemin/ukncbtl-utils)

Некоторые изыскания по этому поводу -- здесь: https://zx-pk.ru/threads/21137-fajlo...ema-rt-11.html

Тоже думал на эту тему.
У Хобота например тоже составлен текстовый индекс файло-архива, но вложенные *.dsk не показаны, плюс есть архивы *.lza, *.lzs, *.fcu итп, хорошо бы их тоже раскрывать, но вопрос чем.
rt11dsk (https://github.com/nzeemin/ukncbtl-utils) можно собрать через make под линуксом.
Помимо имени файла интересно: дата, размер в блоках, размер в байтах, хеши md5/sha1.

Цитата:

---

Сообщение от nzeemin

Помимо имени файла интересно: дата

---

Если бы, как Windows сохранялись даты создания и последней записи - возможно. А так дата в RT-11 - она как бы почти не о чем. В RSX в этом плане дела получше

- - - Добавлено - - -

Цитата:

---

Сообщение от nzeemin

размер в байтах,

---

Тоже самое - в RT такого понятия нет, придётся смотреть - какого типа файл и в зависимости от этого ставить или по размеру в блоках или искать - по содержимому и/или служебной информации (для RSX)

Спасибо всем за участие!

итого получается:
1. парсер образов RT11 возьму rt11dsk - немного подпилю для удобства вызова
2. открытый вопрос по идентификации файловой системы образа
те хорошо бы какой-то список сигнатур или иных простых признаков
дабы можно было на сях написать идентификатор который бы возвращал результат типа FS в базу


Обдумываю структуру таблиц для сохранения информации
1. табличка с информацией о самом образе
- тип файловой системы в разрезе выбора парсера
- имя тома
- владелец
- id системы
- размер в блоках


2. табличка с информацией о файле - список сохраняемой информации
-имя файла
-количество блоков
-дата
-размер в байтах
-адрес
-хеш

Всё же хеши было бы оч хорошо иметь, дублированных файлов бывает очень много.
Вспомнил что для УКНЦ ещё используется формат дисков *.rtd - для системы Net-RT11, отличается заголовком в 256 байт, rt11dsk это учитывает.

Ну и удачи в этом деле, иметь текстовое оглавление всего архива - это было бы очень полезно.

Для инфо
http://www.trailing-edge.com/~shoppa/rt11fs/
https://github.com/aaru-dps/Aaru/blo...ystems/RT11.cs

Цитата:

---

Сообщение от nzeemin

Всё же хеши было бы оч хорошо иметь, дублированных файлов бывает очень много.

---

есть возможность прикрутить это в rt11dsk в режиме листинга ? тк это у тебя получится быстрее чем у меня пока я разберусь что и где
или явно подсказать куда смотреть

Цитата:

---

Вспомнил что для УКНЦ ещё используется формат дисков *.rtd - для системы Net-RT11, отличается заголовком в 256 байт, rt11dsk это учитывает.
Ну и удачи в этом деле, иметь текстовое оглавление всего архива - это было бы очень полезно.

---

спасибо!