номер 3) пожалуй лучше отсеить - некрасиво, не удобно и вапще.
передавать параметры можно или через регистры, либо указателем на структуру с параметрами, либо через стэк.
в самой либе или пачку джампов либо писать подобие диспечера либо иметь структуру с адресами тех или иных функций...лучше всего посиди да поэксперементируй.
пошарь по гуглу и поспрашивай его на предмет либы rsx, она хоть и писана была под Ц64 (128?), но всё таки уже есть куда посмотреть. ещё вариант - посмотри на исходники библиотеки виндовс12 для цпм профика. но там чёрт ногу сломает...