Не знаю, как оно там по даташитам, но судя по видео, это же бордюр лезет не вовремя (вот черточки вот эти)?
HC74 - это именно та микросхема, куда в итоге приходит VBORDER. Я бы к ней присмотрелся.
Впрочем, глюк в видеоконтроллере всё равно не объясняет самопроизвольный сброс.
Схема вот