Сначала читаем pdf'ку, которая идёт в комплекте с VT. Чтобы понимать суть команд и основные термины.
Потом, вот здесь есть описание формата ближе к программисту.
Но, конечно, все тонкости можно познать только изучив работающий исходник. Рекомендую PT3Play\VTII10bG.asm отсюда. Это универсальный плеер (дело в том, что разные версии PT3 имели различия в таблицах нот, громкости, работе команд и т.д.). Разумеется, только под Z80 Хотя у меня есть версия этого плеера на C#, возможно, вам он будет ближе.