Да, сделал части синхронными - и проблем с памятью почти нет. Осталось только фронт обращения к памяти укоротить до 80нс. А так - вроде бы даже работает.
Проблемы мелкие есть, но только из-за того, что циклы не подогнал ещё к таймингам реальным.