Разобрался в чем дело. Наткнулся на те же грабли что и с загрузкой с жесткого диска.
У меня к ЦП подключен модуль ОЗУ в адреса выше 0160000. А ПП писать туда не может (точнее для него в этих адресах ОЗУ режима HALT).
Нужно RT-11
задать что верхняя граница памяти не 0170000 а 0160000.