Это мое предположение, да. По идее после последнего байта любого блока можно сделать безболезненную паузу. Не знаю, как на самом деле на это реагирует загрузчик.

Параллельно я бы все-таки поинтересовался недрами драйвера, чтобы научиться читать поток без задержек. Это пригодится для форматов без блоков.