Насколько я знаю, для бесконечного зума нужна бесконечная точность представления чисел. Если даже не замахиваться на бесконечность, а всего лишь на очень большую точность, то в рамках вектора я бы стал, тут и с грубой точностью не мгновенно. Ротозум текстуры я попробую, интересно, сколько FPS получится.