Тогда следующая (незнаю, бредовая ли) идея:
Для видео использовать свой FPGA со своей быстрой памятью!

Большой камень не нужен, на 5 тыщ LEшек хватит за глаза

А из основного убрать SRAM.