Lethargeek Kompakt - компрессор ZX-графики

[Lethargeek]

Представляю опытный образец. Часть еще не допиленных возможностей отключил, потому жмёт несколько слабее новой считалки. Просьба погонять и помучать, сообщить о глюках, аномально плохо (или хорошо) пакуемых скринах, проигрышах остальным пакерам (только на вменяемых картинках, а не месиве случайном как после резета). Пользоваться из командной строки, пакеру скармливать файлы scr (атрибуты он проигнорит); соответственно депакеру - результат. Бмпшки для контроля и для наглядности.

(удолил как неактуальную)

[Advertiser]

[Lethargeek]

и чавойта все скачавшие отмолчались...
у меня щас в последней версии (монохром) выигрыш супротив LC до ~700 байт
например MAC/Phantis 5238 против 5937 (из проверенных эта самая плохопакуемая вообще)
в среднем разница ближе к 300-500, проиграл (до 30-40) в основном на некоторых ингеймах
самый крупный аномальный проигрыш на картинке catmans gallery4 (ажно целых 165 байт)
я подозреваю, что из-за перевёрнутых повторений, но что-то мне симметрию делать влом

[Hrumer]

Тестил тоже на Phantis. Еще были мотоциклы, firefly, fantastic dizzy. Везде lgk показывал лучшие результаты. Lgk-xored.bmp очень интересно было смотреть, как пропадает рамка, диззи и другие повторяющиеся элементы.
Эти элементы находятся только по точному совпадению байтовому, или анализируется, что может быть сдвиг по горизонтали?

---------- Post added at 15:38 ---------- Previous post was at 15:32 ----------

у меня щас в последней версии (монохром) выигрыш супротив LC до ~700 байт
например MAC/Phantis 5238 против 5937 (из проверенных эта самая плохопакуемая вообще)
в среднем разница ближе к 300-500, проиграл (до 30-40) в основном на некоторых ингеймах
самый крупный аномальный проигрыш на картинке catmans gallery4 (ажно целых 165 байт)
я подозреваю, что из-за перевёрнутых повторений, но что-то мне симметрию делать влом

Ого, в той версии, что была выложена - phantis зажался до 5502. Стала 5238. Серьезное улучшение!

Думал, в LC5.2.1 добавить ключ, чтобы без атрибутов паковал. Но пока не сделал.

[Lethargeek]

xored получается так: каждую клетку-знакоместо можно инвертировать или кcорить на соседние со сдвигом 1-2 пикселя (вычищает сплошные заливки и типичные текстуры) или на любую прошлую (мб инвертированную) клетку. Сдвиги не учитываются сейчас, всё равно для фоновых объектов один обычно, так что и со сдвигом будет много одинаковых клеток. Совпадения точные не требуются, лишь бы разница поменьше была, в любом случае выбор в пользу ксорки, занимающей меньше места в префиксном коде (код простой фиксированный оставил, потому что подгоняется под него и разница с оптимальным хаффманом незначительна; в общем лучше, если больше нулей получится). Так что нужно будет еще запомнить инфу о выборе (вот она кодируется по хаффману, потому что непредсказуема) плюс, возможно, расстояние для ксорки с далёкой клеткой (кроме совпадения с прошлой ссылкой в случае крупных фоновых объектов или везения). По уму надо бы после обработки всего экрана еще раз сравнить размеры и скорректировать, но пока я этим не занимался. Цель была определиться сперва с форматом. Монохромный пакер новый улучшенный выложу, наверно, в понедельник, потом буду атрибутами заниматься, а потом депакером на z80.

---------- Post added at 05:58 ---------- Previous post was at 05:56 ----------

Ого, в той версии, что была выложена - phantis зажался до 5502. Стала 5238. Серьезное улучшение!

а всего-то сделал необязательной кодировку для пустых четвертушек
всё равно их получается маловато даже после ксорки в таких картинках

Думал, в LC5.2.1 добавить ключ, чтобы без атрибутов паковал.

надо чтобы с заданным значением атрибута

[Lethargeek]

вотъ последняя нецветная версия, дальше буду с атрибутами уже делать
дольше думает, бо сперва считалка множество конфигураций перебирает
запилил еще один режим группировки (проигрыш на кэтмэне меньше стал)
и поправил упаковочную стратегию, где-то пару дюжин байт может выгрызть
плюс добавил вывод непонятной статистики))

(удолил)

[Lethargeek]

Вот и полностью функциональная пц-версия. Способ упаковки атрибутов по результатам тестов избран простой, вариантов действий на каждом три: повторить соседа по горизонтали или по вертикали, или загрузить новый (непосредственно или из короткого словарика самых частых). Один бит при повторе прошлого действия и два бита при несовпадении с ним (плюс возможная загрузка - несколько бит). Итого не меньше бита на атрибут, что невыгодно лишь в случае совсем простых и сильно регулярных раскрасок. Делать счетчики повторов пока не стал, и так проигрыш LC по атрибутам бывает редко, а со всей уже запиленной ерундой мне еще придётся взлетать на спектруме

В целом по результатам тестов 320 картинок и заставок (без ингеймов) с zxart.ee:
средний выигрыш у LC - 454 байта и 11-12% (по атрибутам - 54 байта и даже 18%)
самый крупный абсолютный выигрыш: MAC - Livingstone Supongo (877 байт)
самый крупный относительный: Chris Graham - Judge Anderson (19.5%)
средняя степень сжатия от 6912 уже почти 50%

проиграл всего в 5 картинках из этих 320 (и еще в 7 меньше сотни байтиков выиграл):
CatMan - catmans gallery4 (-93 байта) -- отражения по вертикали (орнамент рамки)
A-Graph - 3.5FLOP (-102 байта) -- множество скрытых повторений, простая раскраска
Rindex - Сетка 3 (-117 байт) -- множество регулярных повторений (в раскраске тоже)
Lizard, Slider - Alien Syndrome (-143 байта) -- имитация комодурского лоуреза
(просто не предусмотрел подобного извращения, не подумал как-то)))
Shiru - City Storm 1k gfx (-268 байт) -- монохромная диффузная конверсия
что интересно, в целом по диффузным картинкам результаты непредсказуемы
прогнал несколько сконверченных фотографий - хуже или лучше, как повезёт
в принципе понятно, что делать с ними - например, несколько префиксных кодов
ведь во многих клетках только 2-3 вида (в смысле усреднённой "яркости") чанков
также многим спектрумовским картинкам (и тому же лоурезу) не повредило бы
как-нибудь потом допилю, или уже с новым форматом только...

по ингеймовым картинкам средний выигрыш только 8-9% и чаще проигрыши
в них больше регулярности в раскраске и длинных повторяющихся полосок
да и в целом упакованный размер поменьше, и меньше разница
правда, я пока ингеймов смотрел немного

(del/45)

[drbars]

Lethargeek, депакер под z80 имеется?

[Lethargeek]

drbars, пока некогда, делал только пробные процедурки

[drbars]

Lethargeek, жду тогда Общий размер картинки обычно всегда определялся депакер+данные. Жмёт довольно круто, не бросай проект

[Lethargeek]

Дошли руки наконец позаниматься zx-депакером. Пока сделал для проверки имитацию распаковщика монохромных мотоциклов (3194 байта без заголовка). Даже без атрибутной части размер вышел нефиговый, под 300 байт (но я уже наметил, как на 30-40 байт сократить). Время распаковки ~60 фреймов.