Для VGA 3+3+2, если верить Владу, для HDMI вплоть до 8+8+8, не принципиально, передавать всё равно все 24 бита.
Тут всё зависит от скорости и типа доступа, для 14-20МГц с рандомным доступом хоть 16-32МБ - ширпотребных SDRAM полно, а вот для 28МГц уже и 6ns не факт, что потянут. Тогда только SRAM. Ещё небось и отдельная шина для неё?
В потоке, понятно, этой проблемы нет.