Подстава оказалась там где не ждали На случай, если еще кто решит использовать эту микруху, выкладываю осцилограммы, из которых сразу стало ясно где подвох.
Для начала снял с EGA-видеокарты:
Нажмите на изображение для увеличения. 

Название:	ega_sync.jpg 
Просмотров:	480 
Размер:	67.0 Кб 
ID:	40341
С lm1881:
Нажмите на изображение для увеличения. 

Название:	lm1881_sync.jpg 
Просмотров:	627 
Размер:	57.8 Кб 
ID:	40342
То есть lm1881 четко дает синхру, только инвертированную. С инвертером сразу все заработало:
Нажмите на изображение для увеличения. 

Название:	width28.jpg 
Просмотров:	674 
Размер:	33.2 Кб 
ID:	40343Нажмите на изображение для увеличения. 

Название:	width32.jpg 
Просмотров:	641 
Размер:	44.5 Кб 
ID:	40344

На фото плохо видно, но крайние левые символы немного искажены по цвету, наверное сказывается задержка синхры из-за преобразований. В режиме 0 крайние правые символы обрезаются примерно на 2-4 пикселя. Но в 1-м режиме, со строкой 32 символа, картинка четко в пределах экрана. А вот бокового бордюра действительно нет, ivagor был прав