С туманами это проще взять GeForce 210, а нам пока хватит обычной переброски блоков, вставлять в ПЛИС процессор а зачем тогда нужен Z80 ? можно тогда всё на том проце сделать.
Небольшая очередь приёма данных решает проблемы задержки, для ПЛИС в этом нет никаких проблем, там более никто не запрещает включить IM 1 и на какое нибудь прерывание повесить освобождение видео для приёма данных.

"Давай еще раз. Спектрум расчитан на частоту доступа к памяти максимум 3,5/3такта, железные ограничения, циклы памяти, паралельная работа видеогенератора. Итд, то есть ldir минимум это 3+3 выборка 3+3 пересылка одного байта, то биш 12 тактов."

Как это? пересылка одного байта в мультиплексоре команд занимает 2 технических такта системы при 8 битной шине данных, видеопамять подключена к видео плис, как там у неё работает регенерация видеопамяти проблемы именно этой плис.