Еще раз повторюсь, что не понимаю, в чем проблема.
Может попробовать помоделировать весь алгоритм на си, а потом уже переносить на асм, со знанием всего процесса целиком.