Про "проц не ВМ80", он и так не ВМ80 уже по определению. Ничего страшного в таких изменениях нет. Наоборот, в этом весь интерес. Потом, нечто подобное можно было сделать и с железным ВМ80. Уверен, что были какие-нибудь хардверные отладчики, которые подпихивали банки памяти целиком на ходу.

Второй процессор в том-же адресном пространстве?
Распределение памяти тоже надо патчить.
Скорее наоборот, один процессор перекидывать между разными адресными пространствами. В основном нужно менять распределение памяти: в процессоре можно было бы вообще ничего не подкручивать, но проще если у него будет железная поддержка двух контекстов: тогда можно вообще хоть по очереди инструкции исполнять в двух адресных пространствах.

У меня в БК сделано что-то отдаленно похожее: она сама себя вытягивает за волосы: подгружает себе ПЗУ-шки с SD-карты, работает с FAT-ом и загружает BIN-ы с той же SD-"кассеты", при этом для все это происходит прозрачно для основной программы. Но там не нужно было переключать контекст часто. Здесь будет немного другая задача, зато решив ее можно будет еще много чего сделать почти не расходуя лишние ячейки.

Оптимальный вариант, это когда матрица реализована на HDL, а перекодировкой и установкой регистров на пересечении строк и столбцов матрицы занимается другой, медленный процессор.
+1 этому.