1. Функция ___main, возможно, есть частью стандартной libgcc или что-то вообще из новых стандартов C. В любом случае в crt0.s файле можно обьявить метку с инструкций "rts pc"

2. Да, Makefile рабочий. Просто я этот проект отлаживал года полтора-два тому, когда еще не сделал поддержки -mbm1/-mbm2. Опция -m10 -- это PDP11/10 с процессором LSI-11, подходит для ВМ1. Да, легко поменять под свои нужды

3. Файл pdp11-aout.ld лежит рядом с Makefile в репозитории. Сравните со своим LD скриптом. У меня там стартовый адрес 01000

https://github.com/yshestakov/pdp11-.../pdp11-aout.ld