Новый принцип устранения клешинга

[inozemcew]

Хотя как задается цвет для спрайтов я не увидел (не дочитал)
но предположу что или для каждого слоя своя палитра из 2-х цветов
или что палитра задается как то перед отрисовкой спрайта

Все проще. У каждого слоя своя область атрибутов. Цвет спрайта берется оттуда. Перед отрисовкой спрайта цвет задавать не обязательно, можно сделать это и после.

дополнительный порт для конфигурации
- выбор типа маски 00111100 и инверсная 11000011.
- выбор обнулять регистр маски после записи или нет (не всегда же нужно и быстрее)
- как\чем "обнулять" регистр маски 00000000 или 11111111 или это должно определятся на основе выбора инверсная\не инверсная маска

- всегда инверсная, которая накладывается по AND.
- обнулять обязательно, в смысле заносить 11111111. При чтении байта из пикселей слоя заносить маску в регистр маски. При записи в порт маски, складывать старое и новое значение по AND. Это позволит выводить несколько спрайтов в один слой.
- дополнительный порт для конфигурации не нужен.

а теперь вопрос как теперь стирать и перемещать то что нарисовано где то там в слое который отображается поверх?

Очевидно, запись байта в более нижний слой должна обнулять байты вышележащих слоев. Но, думаю, достаточно только очистки спрайтовых слоев при записи в слой фона.

что делать с играми которые сначала рисуют в бекбуфер?

Ничего. в бекбуфере нет информации о том какому объекту какой пиксель принадлежит. Как это обойти, я, к сожалению, не знаю.

это только на первый взгляд кажется что там подменить процедуру вывода и все
на практике вылезет столько подводных камней...

Безусловно. Без предварительной обкатки на эмуляторах не и речи о воплощении всего этого в железе.

для пишущих атрибуты после - либо изменить порядок вызова процедур, либо сначала явно цвет устанавливать, либо сочетать

Дополнительные изменения в код, понятно.