Вот оказывается чего уже существует и даже продаётся:
http://excamera.com/sphinx/gameduino/
Код:
    video output is 400x300 pixels in 512 colors

        all color processed internally at 15-bit precision
        compatible with any standard VGA monitor (800x600 @ 72Hz)
        background graphics
            512x512 pixel character background
            256 characters, each with independent 4 color palette
            pixel-smooth X-Y wraparound scroll
        foreground graphics
            each sprite is 16x16 pixels with per-pixel transparency
            each sprite can use 256, 16 or 4 colors
            four-way rotate and flip
            96 sprites per scan-line, 1536 texels per line
            pixel-perfect sprite collision detection

    audio output is a stereo 12-bit frequency synthesizer

        64 independent voices 10-8000 Hz
        per-voice sine wave or white noise
        sample playback channel
Небольшой процессор для всяких эффектов туда тоже встроен. В теории можно припаять проводки к jtag и перепрограммировать FPGA во что-то другое, может даже поддерживающее 3D. Единственный минус в том, что рулить этим безобразием можно только через SPI, потому что кроме него на разъёмы мало чего выведено, но возможно что добавление небольшой CPLD эту проблему позволит решить.