Для скорости можно скроллировать только те знакоместа, которые содержат информацию. А те, что содержат все 0 или все 0xFF, рисовать только атрибутами.