Новый, более эффективный кассетный формат

[Barmaley_m]

Я так понимаю, речь идет про способ разделения входного аналогового сигнала на 0/1 эмулятором.

Если речь идет о TZX-файлах - то там эмулятор ничего не разделяет, там сигнал уже квантован (т.е. может принимать только два уровня, 0 и 1). Квантование (т.е. "разделение") производится не эмулятором, а программой, которая подготавливает TZX-файл на основе либо wav-файла, либо непосредственно с аудиовхода.

Можно брать фиксированную границу разделения, а можно делать её скользящей, подстраиваясь под текущие экстремумы сигнала, второй способ надежнее.

Надёжнее? Ты уверен? Я думаю, что лучший способ - это ФВЧ с низкой частотой среза (типа 1-5Гц), а после - фиксированная граница разделения, равная нулю. Тем самым будет удален средний уровень сигнала, если он отличается от нуля, а после этого сигнал будет разделен на уровни оптимальным образом с точки зрения вероятности ошибки. Тебе что-нибудь говорит словосочетание "глазковая диаграмма"?

[Advertiser]

[Spectramine]

Если речь идет о TZX-файлах - то там эмулятор ничего не разделяет, там сигнал уже квантован (т.е. может принимать только два уровня, 0 и 1). Квантование (т.е. "разделение") производится не эмулятором, а программой, которая подготавливает TZX-файл на основе либо wav-файла, либо непосредственно с аудиовхода.

Я имел ввиду WAV файлы, или прямое чтение с входа звуковухи.

Надёжнее? Ты уверен?

Я основываюсь на своем опыте написания кода чтения WAV -файлов для эмулятора. Поскольку уровни сигнала плавают, и не только от файла к файлу, но и внутри одного файла, для более надежного их разделения стоит сделать плавающей и границу разделения. Предварительная обработка всего WAV файла перед его чтением может быть довольно тормозным процессом в случае больших файлов, а скользящая граница разделения позволяет квантовать данные на лету.

- - - Добавлено - - -

И да, в теории цифровой обработки сигналов я не силен.

[Barmaley_m]

Я основываюсь на своем опыте написания кода чтения WAV -файлов для эмулятора.

Окей. А у тебя остались тестовые файлы, на которых ты испытывал эффективность своего кода (т.е. надежность их считывания загрузчиком)? Давай попробуем сравнить оба предложенных метода.

Поскольку уровни сигнала плавают, и не только от файла к файлу, но и внутри одного файла, для более надежного их разделения стоит сделать плавающей и границу разделения.

Да вот не факт. Для простоты рассмотрим синус. Допустим, что его амплитуда плавает. Если мы будем разделять уровни строго по нулю - то, очевидно, независимо от амплитуды синуса, мы получим на выходе цифровой прямоугольный сигнал с одним и тем же периодом, фазой и скважностью 2.

Теперь допустим, что наш синус имеет некоторую неизвестную постоянную составляющую. Тогда мы пропустим его через ФВЧ. Тем самым постоянная составляющая будет ликвидирована, и на выходе снова будет прямоугольник с постоянной частотой, фазой и скважностью 2, независимо от амплитуды входного синуса.

Даже, если постоянная составляющая меняется во времени, ФВЧ ее устранит, если он имеет достаточно высокую частоту среза.

В случае, если входной сигнал не синус, а имеет сплошной спектр (что имеет место в случае записи на кассету данных в каком-либо формате) - то картина усложняется, и тут выбор может быть сделан в пользу того алгоритма, который даёт лучшие результаты на тестах. У тебя есть тестовый материал в виде различных записей данных с кассет?

[cafedead]

Вообще, мой формат был испытан на нескольких магнитофонах и имел проблемы пока только на одном (Haywire).

А мой становится нечитаемым?

На 27 странице к верхнему комментарию добавлял картинку. Там я примерно накидал, в чем беда.

С этих нескольких магнитофонов данные в реал загружались?

Это ты описываешь обработку сигнала эмулятором? Не факт, что именно описанный тобой способ там используется. По-моему ты описал работу фильтра высоких частот (ФВЧ) с двухуровневым квантователем, но не уверен.

Ну да, ФНЧ - это, в простом исполнении, скользящая средняя...

В моем случае никакой цифровой обработки сигнала в эмуляторе не производилось. Я брал звуковой файл (в том числе файлы, присланные другими пользователями, оцифрованные с реальных кассет) и с помощью своей матлаб-утилиты "wav2tzx", переводил его в формат TZX. А этот файл уже скармливал эмулятору, который никаких скользящих средних или другой обработки сигнала не производил.

В любом случае, это - идеальные условия. Реальность далека от идеала. Также, как и смотреть 2-х мегапиксельной камерой на мир, это не то же самое, что смотреть фотоэлементом с двумя состояниями.

Правильно ли я понял, что ты описываешь некий алгоритм расчета значения, по которому надо отличать в сигнале единицы от нулей? Что если сигнал выше некоторого порогового значения - то он будет воспринят как "1", а если ниже - то как "0"?

Правильно. У реала он выражается в некотором фиксированном значении напряжения, которое задается электронными компонентами. У эмулятора - например, скользящей средней, или с найденными экстремумами что-то можно городить, как здесь привели в пример.

У меня обычно полосы были одинаковыми, но я имел счастье использовать спектрум с хорошим магнитофонным входом ("Орель БК-08"), где для квантования сигнала используется микросхема компаратора (554СА3). Вот в дешевых клонах, где вместо компаратора используется логический элемент, может быть такое, что квантование производится не по нулевому уровню, а со смещением. Стандартный формат таким не убивается, а вот мой, в зависимости от прочих искажений, может пострадать. Надо будет поизучать вопрос.

Он не просто не убивается, а еще и выходит, что запись можно подразогнать. Что, у пилота прям одинаковые красно-голубые полосы были? Потрясающе.

Что значит "не выдерживаю фронты сигнала по длительности"? Что под этим имеется в виду?

Возможно, ты "длительностью фронтов" называешь на самом деле длительность нахождения сигнала на постоянном уровне, т.е. длительность участков между фронтами. Давай тогда использовать общепринятые в отрасли термины, а то тяжело.

Да, извини, именно длительность и имелась в виду. Пытался сокращать. Волна состоит из двух полу-волн, сл-но между одной сменой значения, и другой сменой должны быть выдержаны равные интервалы времени... А когда ты не выдерживаешь интервалы, меняя скважность, получаешь гуляние аналогового сигнала, порождаешь НЧ-волны. НЧ-волна, вероятнее всего, мешает прочесть соседние биты одно-битовому АЦП реала. Тем более, что ты стремишься и по скорости взять все возможное. Думаю, стоит умерить аппетиты, хотя бы для начала.

Да, получается НЧ-волна (я достаточно хорошо представляю себе такие вещи, чтобы не проводить эксперимент). Это свидетельствует о том, что в сигнале 8b/10b содержится несколько больше низких частот, чем в сигнале стандартного формата. Хотя в сигнале стандартного формата тоже есть низкие частоты. Попробуй запиши на кассету файл с псевдослучайным содержимым (например, содержим ПЗУ) и проведи на нём описанный тобой эксперимент - тоже получится НЧ-волна.

У тебя полу-волны разного размера, что приводит к порождению НЧ-волны. Глянь иллюстрацию, что я сверху накидал. Это волны-паразиты, мешающие считать данные.

Если, как ты говоришь, "уравновешивать" (то есть использовать только последовательности кодированного сигнала вида "10" и "1100" - то получится синклерский стандартный формат, который в этих рамках уже нельзя улучшить. Но я верю, что в этом нет необходимости. Кроме Спектрума есть компьютеры, использовавшие для записи на кассету Манчестерский код (также известный под названием "фазовая модуляция"), а это уже шаг вперёд по эффективности. Код 8b/10b ещё более эффективный, и он показал работоспособность, по меньшей мере, на некоторых магнитофонах. Тот магнитофон, где формат не заработал - он ужасно убивает сигнал, по меньшей мере, при записи. Он точно не соответствует никакому ГОСТу; проблема только в том, что он встроен в Spectrum +2.

Ну если веришь, тогда приготовься к тому, что предел разгона такой волны будет заметно ниже классической Турбо-загрузки, со всеми вытекающими выводами по надежности. Это просто здравый смысл. И что, что на каких-то компьютерах реализована для сохранения на ленте фазовая модуляция? Другие-компьютеры - другое железо.

Попробуй начать с более скромными показателями. Выяснишь, где косяки, и затем будешь уже искать пределы. На данный момент, заявленные тобой цифры запредельные, и ничего общего с надежностью точно иметь не могут.

Еще могу посоветовать немного переработать загрузчик, чтобы он, вместо самой загрузки, сохранял временные задержки приходящего потока данных, чтобы это можно было затем как-то проанализировать для разных связок магнитофон-реал, сравнить с эталоном... Процесс пойдет более продуктивно.

Успехов.

[cafedead]

Да вот не факт. Для простоты рассмотрим синус. Допустим, что его амплитуда плавает. Если мы будем разделять уровни строго по нулю - то, очевидно, независимо от амплитуды синуса, мы получим на выходе цифровой прямоугольный сигнал с одним и тем же периодом, фазой и скважностью 2.

Даже, если постоянная составляющая меняется во времени, ФВЧ ее устранит, если он имеет достаточно высокую частоту среза.

А где у тебя будет находиться "ноль"? Ну вот допустим приехали отчеты, и там цифры от 0 до -5000. А может быть от 1000 до -10000. Т.е. "ноль" надо как минимум отыскать. Также может быть сюда замешана более низкая частота... Самое простое и быстрое - считать скользящую среднюю.

[Spectramine]

Окей. А у тебя остались тестовые файлы, на которых ты испытывал эффективность своего кода (т.е. надежность их считывания загрузчиком)? Давай попробуем сравнить оба предложенных метода.

Да вот не факт. Для простоты рассмотрим синус. Допустим, что его амплитуда плавает. Если мы будем разделять уровни строго по нулю - то, очевидно, независимо от амплитуды синуса, мы получим на выходе цифровой прямоугольный сигнал с одним и тем же периодом, фазой и скважностью 2.

Теперь допустим, что наш синус имеет некоторую неизвестную постоянную составляющую. Тогда мы пропустим его через ФВЧ. Тем самым постоянная составляющая будет ликвидирована, и на выходе снова будет прямоугольник с постоянной частотой, фазой и скважностью 2, независимо от амплитуды входного синуса.

Даже, если постоянная составляющая меняется во времени, ФВЧ ее устранит, если он имеет достаточно высокую частоту среза.

В случае, если входной сигнал не синус, а имеет сплошной спектр (что имеет место в случае записи на кассету данных в каком-либо формате) - то картина усложняется, и тут выбор может быть сделан в пользу того алгоритма, который даёт лучшие результаты на тестах. У тебя есть тестовый материал в виде различных записей данных с кассет?

Тут на форуме выкладывались записи данных с кассет, обычно файлы довольно объемные, я их не храню. Не приведено аргументов, почему не стоит делать плавающей границу квантования, только некоторые соображения о использовании ФВЧ в случае, если входной сигнал синус, и общие слова. Чтобы говорить предметно, приведи форму сигнала, с которой при квантовании не справится плавающая граница, но справится ФВЧ.

[Barmaley_m]

А где у тебя будет находиться "ноль"? Ну вот допустим приехали отчеты, и там цифры от 0 до -5000. А может быть от 1000 до -10000.

Нет проблем. Я же говорил, что в первую очередь нужно обработать сигнал с помощью ФВЧ. После ФВЧ цифры будут находиться, в первом случае, между -2500 и +2500, а во втором случае - между -5500 и +5500, т.е. симметрично относительно нуля. В этом свойство ФВЧ: помимо подавления низких частот, он полностью устраняет из сигнала постоянную составляющую. После ФВЧ сигнал становится симметричным относительно нуля. Если сложить все его отсчеты на всем протяжении записи - то получится строго нуль.

В такой ситуации квантование (т.е. разделение уровней) по нулю обеспечивает оптимальные результаты.

Т.е. "ноль" надо как минимум отыскать. Также может быть сюда замешана более низкая частота... Самое простое и быстрое - считать скользящую среднюю.

Расчет скользящей средней - это частный случай ФНЧ. Запомним это. Теперь я опишу твой алгоритм формулами и покажу, что он эквивалентен описанному мной выше.

Пусть твой входной сигнал будет x[i], где i=1...N. Обозначим отфильтрованный скользящим средним сигнал как xf[i], а квантованный (цифровой) сигнал - как y[i]. Тогда квантование будет описано формулой:

y[i] = { 1 при x[i]>xf[i]; 0 при x[i]<xf[i] }

Перенесем в неравенствах xf[i] в левую часть. Получится:
y[i] = {1 при x[i]-xf[i]>0; 0 при x[i]-xf[i]<0}

Таким образом, у нас сравнивается с нулем некоторый сигнал x[i]-xf[i]. Обозначим его как w[i]. Что же это за сигнал? Он представляет собой разность исходного сигнала и того же сигнала, пропущенного через ФНЧ. Пусть ФНЧ имеет передаточную функцию H(z). Тогда, если обозначить z-преобразование входного, отфильтрованного и искомой разности сигналов как X(z) и XF(z) и W(z) - то получим:

XF(z) = X(z)*H(z) - это так выглядит фильтрация в z-преобразовании
W(z) = X(z)-X(z)*H(z) - в z-преобразовании сумма сигналов остаётся суммой
W(z) = X(z)*(1-H(z)) - вынесли X(z) за скобки

Таким образом, расчет разности исходного и отфильтрованного с помощью ФНЧ сигнала эквивалентен фильтрации исходного сигнала другим фильтром, который имеет передаточную функцию 1-H(z). Что же это за фильтр и какова его АЧХ?

На "постоянном токе" (при z=1) ФНЧ имеет коэффициент пропускания, близкий или равный единице. В случае скользящего среднего он строго равен единице. Но тогда, если H(1)=1, то 1-H(1)=0, то есть результирующий фильтр на постоянном токе имеет нуль. Запомним это.

Далее, на высоких частотах (при z стремящемся к -1) коэффициент передачи ФНЧ близок к нулю. Но тогда 1-H(z) будет стремиться к единице. То есть на высоких частотах такой фильтр будет пропускать сигнал без ослабления. Выглядит так, что результирующий фильтр - это ФВЧ, так как на низких частотах он полностью подавляет сигнал, а на высоких - пропускает. Но это и так известный факт, что 1-H(z) превращает ФНЧ в ФВЧ и наоборот. Что и требовалось доказать.

А теперь внимание. Поскольку в реалах магнитофонный вход обычно реализован в виде ФВЧ и последующего сравнения сигнала с нулём - то он производит такое же квантование, какое ты счёл правильным. И, поскольку как в реале, так и в эмуляторе применяется одна и та же обработка сигнала - то нет никаких препятствий тому, чтобы проверенный на эмуляторе кассетный формат вдруг перестал работать на реале. И это подтверждается результатами испытаний на реалах.

- - - Добавлено - - -

Вот еще ссылка на детальный анализ схемы "Орель БК-08", там есть раздел, посвященный магнитофонному входу. Чётко объяснено его устройство и работа.

[cafedead]

Barmaley_m, Да я знаю и сам, что это одно и то же... Я просто обратил внимание на твою фразу:

"Да вот не факт. Для простоты рассмотрим синус. Допустим, что его амплитуда плавает. Если мы будем разделять уровни строго по нулю - то, очевидно, независимо от амплитуды синуса, мы получим на выходе цифровой прямоугольный сигнал с одним и тем же периодом, фазой и скважностью 2."

Разумеется, с фильтром все встает на свои места. Но без фильтра твое утверждение не верное в части про скважность. И твой "Орель" - это частный случай, также как и загрузка через 16-битный АЦП в эмулятор, или в программу распознавания... Я об этом и написал первый пост. Ты исходил из идеальных условий, когда скважность оставалась оригинальная. Я обрисовал, почему это далеко не всегда не происходит, и что оригинальный загрузчик это стабильно читает. Ты сказал, что изучишь. Т.е. тебе нужно изучить влияние нарушенной скважности на твой алгоритм, и, коли ты хочешь все же кривыми полу-волнами информацию передавать, какую минимально короткую полу-волну, следующую сразу за длинной полу-волной, ты можешь пробить в порт, записать на кассету без потери ее читаемости АЦП реала. Я ожидаю, что ее предел будет ниже предела читаемой полу-волны турбо-загрузки, а ты, на данный момент, этот предел превысил.

[Barmaley_m]

Barmaley_m, Да я знаю и сам, что это одно и то же...

Окей, верю. Но в таком случае странно, зачем ты до моего объяснения противопоставлял обработку с помощью ФВЧ предложенному тобой алгоритму сравнения с выходом фильтра скользящего среднего. Нам ведь не нужны лишние беспредметные споры, не так ли?

Разумеется, с фильтром все встает на свои места. Но без фильтра твое утверждение не верное в части про скважность.

Фильтр есть всегда, поскольку тракты как записи, так и воспроизведения любого магнитофона развязаны по постоянному току. Там всегда сигнал идет через конденсатор, то есть, ФВЧ. Аналогично, конструкция магнитофонных входов всех реалов имеет развязывающий конденсатор, поэтому, даже если входной сигнал с магнитофона имел какую-то постоянную составляющую - она будет подавлена.

Если при входном синусоидальном сигнале двоичный сигнал на бите 6 порта #FE имеет скважность, существенно отличную от 2, как в твоём случае - значит, при квантовании сигнал сравнивается не с нулём, а с каким-то другим значением. Такое может происходить в двух случаях. 1) схемотехника магнитофонного входа выполнена неграмотно; 2) какие-то детали магнитофонного входа неисправны (например, электролиты подсохли или вход микросхемы пробит). Покажи мне схему своего компьютера, и я тебе её проанализирую на предмет того, может ли она в рабочем состоянии сравнивать сигнал с существенно ненулевым уровнем, или она была неисправна.

И твой "Орель" - это частный случай, также как и загрузка через 16-битный АЦП в эмулятор, или в программу распознавания... Я об этом и написал первый пост. Ты исходил из идеальных условий, когда скважность оставалась оригинальная.

Это не идеальные, а вполне нормальные условия, когда магнитофонный вход компьютера выполнен добротно хотя бы на уровне схемотехники 80х.

Я обрисовал, почему это далеко не всегда не происходит, и что оригинальный загрузчик это стабильно читает.

Насчет стабильности - можно поспорить. Обещаю, я проведу тесты и покажу тебе результаты насчет стабильности.

Т.е. тебе нужно изучить влияние нарушенной скважности на твой алгоритм, и, коли ты хочешь все же кривыми полу-волнами информацию передавать, какую минимально короткую полу-волну, следующую сразу за длинной полу-волной, ты можешь пробить в порт, записать на кассету без потери ее читаемости АЦП реала. Я ожидаю, что ее предел будет ниже предела читаемой полу-волны турбо-загрузки, а ты, на данный момент, этот предел превысил.

Я понял твоё убеждение, что магнитофонный сигнал должен состоять только из последовательностей вида "10" или "1100". Действительно, такое ограничение, наложенное на сигнал, способствует устойчивости считывания к широкому кругу искажений.

Проблема в том, что такое кодирование имеет низкий кпд - около 34%, как я недавно считал. То есть, на один полезный бит информации приходится в среднем 3 битовых интервала в кодированном сигнале.

Можно повышать скорость записи путем укорачивания битового интервала. Получится так называемое "турбо". Но все знают, что такое турбо. Тут нечего обсуждать, и нечего улучшать. Я много хранил информации на кассетах в турбо-формате, когда у меня был реал с магнитофоном 4-й группы сложности "Легенда-404" в 1992-1993гг и знаю, что надежность такого хранения ниже, чем в формате стандартной скорости. И все это знают. Тут сказывается то, что турбо-формат использует расширенную полосу частот по сравнению со стандартным форматом. А там более высоки неравномерности АЧХ магнитофонного тракта.

Формат 8b/10b - это попытка повысить скорость не за счет укорачивания битового интервала (как в турбо), а за счет применения более оптимального кодирования. Потребная полоса частот при этом остается такой же, как у стандартного формата, а скорость возрастает в 2 с половиной раза. Заманчиво? Весьма. Цели поставлены такие:
1) идеал - при сохранении такой же надежности считывания, как у оригинального формата, повысить скорость. Испытания показали, что это невозможно, поэтому ставится более скромная цель:
2) при повышении надежности по сравнению с турбо-форматами, обеспечить сравнимую с ними скорость.

Ты привел возражения, почему это не должно работать, но пока что они чисто умозрительные, реальных испытаний ты не проводил. Смысл нарисованных тобой картинок и стоящие за этим опасения мне понятны, но это рисунок, а не точный расчет. В реальности все не так плохо. Я проводил множество тестов с различными искажениями сигнала в формате 8b/10b, и формат показал неплохую устойчивость. Постараюсь сгенерировать эти картинки заново и выложить здесь для тебя.

[cafedead]

Barmaley_m, С каким НУЛЕМ, опять? У одного Спектрума одна настройка, у другого Спектрума - другая. У магнитофона третья, да еще и громкость может меняться. И скорость может немного меняться. И все эти связки и настройки разнообразны. Вон при записи в описании 0 - это 0.75В, а 1 - -1.3В. Как-то шибко наивно ожидать при чтении такую же скважность.

Мои возражения не чисто умозрительные... Это просто здравый смысл... Если ты говоришь, что ТАК НАЗЫВАЕМОЕ турбо не надежна, у которой полу-волны все же равного размера, то твоя загрузка с неравными полу-волнами еще менее надежна по определению, тем более, ты не скромничаешь со скоростью, а полоса частот у тебя еще более расширена. Хотя не знаю, что там в турбо расширено, все так же две частоты для 0 и 1, просто они выше. Можно период 1 приблизить к периоду 0, например.

Да, заманчиво передавать информацию каждой полу-волной, но сможешь ты это делать на сниженной скорости, как ни крути. И, как вариант, понадобится разное кодирование для первой и второй полу-волн, чтобы оно хоть как-то читалось... Ну например, если у тебя была длинная предыдущая полу-волна, например, означающая 1, то значит будет удлиненная вторая полу-волна, где 0 - чуть короче, и 1 - чуть длиннее, например, хотя даже в этом случае невозможно будет заявить, что все прям вот надежнее не бывает... Но не так, как ты делаешь, что у тебя длинная полу-волна, а затем маленькая пипочка вниз... Ну так работать точно не станет.

Ну если нравится тебе считать, что везде скважность одинаковая, а всем остальным нужно отремонтировать свои устройства, и кассеты - на здоровье, твое право. Но только не надо тогда рассказывать про надёжность, ну не конек это твоего алгоритма... И говоря про электронику 80-х не стоит забывать, что Спектрум выпускался максимально дешевым, т.е. экономия была на всем.

Со своей стороны я уже все сказал, что хотел, еще в первом своем посте. Добавить нечего...