Каким эмулятором можно открыть эти NIB

[Xela]

разобраться, что это за вариация формата

Есть очень сильное подозрение, что именно в данном случае, эти .nib файлы не с дисков c64 сняты, а с Apple II версии. Там тоже есть образы дисков в .nib формате.
У комодоровских nib'ов есть заголовок: MNIB-1541-RAW, плюс с ними идет лог.
А у тех, что выложили на old-dos, структура и размер совпадает с тем, что скачивается, например, отсюда - https://romsmania.cc/roms/apple-ii