И могу ошибаться, но мне навскидку кажется, что для стерео придется перенести ось вращения с наблюдателя в сцену.
А как сейчас? Мне кажется, что для стерео важна не ось вращения, а положение камеры и точка, куда она смотрит. Смотрим всегда в одну точку, но смещаем голову влево-вправо.