Можно перерисовывать не все спрайты, но тогда нужно отслеживать их координаты, считая при этом спрайты прямоугольниками. Если при выводе или стирании текущий прямоугольник кого-то задел - их тоже надо перерисовать.
эт точно делать лень
попробуем хоть экономить на вычеслении адресов