при том я теперь вообще не понимаю как сделать бесконечный скролл во все стороны
если повторять эту последовательность то нужна бесконечная память с таким подходом
Рано или поздно, когда мы подойдём к началу или концу буфера, нужно будет иметь копию в другом конце буфера, чтобы незаметно для игрока переключить адрес буфера. Так что время от времени придётся копировать весь экран.