Для быстрого скроллинга нужно не скроллировать содержимое экрана, а хранить набор уже сдвинутых спрайтов и тайлов, и выводить из соответствующего набора. Для скорости, если часть тайлов пустые, их можно вовсе не выводить.