Вывел рамку по краям - все стало норм и автонастройка четко срабатывает.
Вот. Сам не могу понять этот эффект автонастройки, но влияет наличие не_чёрного во время гашения и синхроимпульсов. Может на RGB какие-то иголки с комбинационных схем пролазят, вот монитор и пытается их в кадр впихнуть?