Видеокарта для Спека

Конечно для этого нейросеть не нужна. Нейросеть нужна, когда черно-белые фильмы раскрашивают в естественные цвета с учетом времени и места действия. А для экранов ZX-Spectruma она может помочь только в тех случаях, когда предъявлены раскрашенные образцы спрайтов и необходимо преобразовать маленькое число пикселей в огромное. Это как по черно-белой или обшарпанной цветной фотке портрет нарисовать художнику. Если же придумать "язык описаний спрайтов", то можно обойтись и без адаптивной нейросети с обучением. Но в этом случае весь код предварительно преобразовывается на стороннем десктопе на кросс-средствах под заданный экран, например svga или 4K, возможно в автоматизированном, а не автоматическом режиме. В этом случае и используемая карта на ZX-Spectrume должна генерировать спрайты по высокоуровневому описанию, а z80 должен лишь давать ей "макрокоманды" на перемещения( включая повороты) и преобразования( например если пораженный злодей дематериализуется его спрайт может не просто исчезнуть с экрана и т.п., ну или какой-то объкт поврежден). Понятно какой вычислительной мощностью и памятью она должна обладать.

Задача делится на две части:
Первая -- это захват видеопотока (RGBI) со Спектрума (или другого ретро компьютера, где цвет задаётся атрибутами), отдельная обработка яркостного канала на предмет выявления перемещающихся спрайтов и тайлов фона. Думаю, что изобретать очередной велосипед не стоит и лучше использовать элементы из библиотеки openCV: http://robocraft.ru/blog/computervision/264.html Вопрос только какой процессор будет минимален для данной задачи, использовать ли отдельный корпус, FPGA со встроенным ядром, либо софтверные ядра.
Вторая -- генерация новой цветовой карты (раскраска по новой, выявленных спрайтов и тайлов). Вот нашёл open-source проект https://github.com/maidenone/ORGFXSo...v2/rtl/verilog графического ускорителя, из которого так же можно выпилить 3D (если ресурсов чипа будет не хватать) уменьшить до минимума разрешение и битность цветовых каналов)

Как бонус, можно будет подумать о увеличении разрешения, замыливания и прочих пост-эфектах, если на это будет хватать ресурсов...

- - - Добавлено - - -

А дальше, если это удастся реализовать, можно подумать о привлечении разработчиков, для использования новой видеокарты для создания реймейков и продолжений старых игр, может даже и что-то новое или портированное с современных платформ можно будет организовать) Естественно, что надо будет решить вопрос с новым графическим редактором, использующим данное железо и может движка для новых демо и игр...

Цитата:

---

Сообщение от PavelZX

захват видеопотока

---

Их (видеопотоков) огромное количество с ньюансами. И там аналоговый сигнал, который надо еще правильно снимать. Я помню в 80-е решали задачку получать геометрические параметры зоны расплава тигля по черно-белой картинке с камеры. Траходром был еще тот(правда там конечно еще фильтрация хитрая была), а здесь задача в сотни раз сложнее, особенно если речь идет о разных 8 битных компах. Делай это сразу на PC для начала на максимально доступной тебе мощности с доступной картой обработки видеосигнала. Когда реализуешь, сразу определишься с требованиями к этой части железяки. Может цена сразу выскочит такая, что ни на что другое уже железа не останется.

Другой подход: лопатить коды, а не видеосигналы. Коды, которые эти видеосигналы генерят. Если бы мы ничего не знали о внутреннем устройстве девайсов, генерящих эти видеосигналы, то да. Ничего другого бы и не оставалось, как захватывать видеопоток. А так это совсем не то, что стертый винил оцифровать и отреставрировать( что тоже не всякий сумеет)

Цитата:

---

Сообщение от andrews

И там аналоговый сигнал, который надо еще правильно снимать.

---

Проблемы с тем, чтоб получить цифровой сигнал вроде бы нет, если это конечно же не закрытая железка, с которой только композит можно снять... Имел ввиду видеопоток вообще, но в итоге это просто череда картинок, передающихся с частотой 25 или 30 Гц (в телевизорах, напомню черезстрочная развёртка была и полный кадр получался из 2), при чём каждая точка уже разложена на биты RGBI. С композитом да, сложнее немного, впрочем получить обратно RGBI не так уж сложно, хотя из-за перекрёстных искажений будут ошибки)

Я недавно пробивал тему простого АЦП на FPGA: https://electronix.ru/forum/index.ph...omment=1700666

Так вот, как мне кажется, с наличием битовой RGBI карты, не сложно её преобразовать в отдельную черно-белую и отдельную атрибутную, не вникая в то что там в исходном коде и это как раз легко можно сделать в FPGA...

Если по этой части проекта все "под рукой", то хотелось бы взглянуть на результат. Кстати, какую "лягушку"( в смысле 8-битку) этим препарируете?

Цитата:

---

Сообщение от andrews

Кстати, какую "лягушку"( в смысле 8-битку) этим препарируете?

---

Тема же про железо спека, так что начать хотел с "ленина", мне тут как раз живую ретро плату подарили рабочую. По мимо того пришли дешёвые, как тут акцентировали уже, процы, ещё z80 один отдельно и 6502, можно что на них сделать другое, реализовав остальное в FPGA. Исходники есть, только развести их в камне... Почему-то не хочу делать всё в эмуляторе и писать программу под ПК, чисто личный такой бзик)

Цитата:

---

Сообщение от SoftLight

Просто там как-бы большинство вопросов клэшинга и переделки игр и существующего софта уже давно решены и поставлены на поток. Другое дело, что пока это все живет только в виде эмулятора для PC. Но вроде бы авторы что-то говорили про возможность повторения в железе.

---

Рабочий прототип есть, как только будет готово более подходящее железо и будет прогресс, обязательно проинформируем в теме.

Чисто технически представляю дело так:
Приходит строка RGBI и пишется в буфер, параллельно получаем отдельно чёрно-белую строку в один бит (хотя может 2 бита лучше, если какие-то ещё параметры вылезут) и отдельно строку раскраски в 4 бита на каждую точку, то есть это не яркостный канал (I) сам по себе, а результат вычисления по всем каналам (RGBI), с учётом рядом стоящих точек. В процессе, пока рисуется полу-кадр, идёт определение контуров и параллельное сравнение точки с предыдущим кадром на предмет изменений, то есть ещё генерируется сигнал этих изменений (можно тоже в 2 бита)... В общем, когда дорисовался кадр, видеопреобразователь уже должен знать координаты и контуры изменений на экране, чтоб выполнить перекраску точек)

- - - Добавлено - - -

Цитата:

---

Сообщение от Totem

как только будет готово более

---

У вас личная почта переполнена, форум не позволил написать напрямую...

Цитата:

---

Сообщение от PavelZX

У вас личная почта переполнена, форум не позволил написать напрямую...

---

Я заметил оповещение в почте, ответил в теме ULAX.

Цитата:

---

Сообщение от Totem

ответил в теме ULAX

---

Написал там, задал вопрос, что в итоге хотите получить в железе... Тут, как мне кажется есть кардинальная разница в подходах. Это я уже больше для всех читающих тему пишу. ULAX предусматривает адаптацию игр, а я решил, что есть и другой путь. Можно получить другую картинку, не вникая в код игры. Получить спрайты и тайлы прям с живой картинки, чтоб потом делать с ними что хочешь)

Это реально круто, что вы делаете, в этом есть некий элемент творчества. Просто я, разобравшись с нюансами игры, уже не захотел бы в неё играть...

Цитата:

---

Сообщение от PavelZX

Просто я, разобравшись с нюансами игры, уже не захотел бы в неё играть...

---

Разобраться надо только, с граф. процедурами , для "обезклешки", а для раскраски еще найти графику.

Цитата:

---

Сообщение от PavelZX

Можно получить другую картинку, не вникая в код игры. Получить спрайты и тайлы прям с живой картинки, чтоб потом делать с ними что хочешь)

---

Цитата:

---

Сообщение от PavelZX

Просто я, разобравшись с нюансами игры, уже не захотел бы в неё играть...

---

вот как раз подсматривать графику для раскраски или для тренировки нейросетей - куда больший спойлер, чем вникать в код (притом в очень небольшую часть кода)

Цитата:

---

Сообщение от Lethargeek

или для тренировки нейросетей

---

давать на вход графику одной и той же игры для спектрума и для сегаМД :v2_lol:
и пусчть "обучаитсо" :v2_lol:

Цитата:

---

Сообщение от NEO SPECTRUMAN

давать на вход графику одной и той же игры для спектрума и для сегаМД
и пусчть "обучаитсо"

---

да без разницы, всё равно человек должен провести предварительную сортировку изображений

Цитата:

---

Сообщение от Lethargeek

да без разницы, всё равно человек должен провести предварительную сортировку изображений

---

ну подсовывать похожие картинки это не трахаться в дебагере
а так было бы интересно посмотреть на *****результаты
интересно на сколько оно может работать в риалтайме

Цитата:

---

Сообщение от NEO SPECTRUMAN

ну подсовывать похожие картинки это не трахаться в дебагере

---

это точно, трахаться с полной каталогизацией картинок дольше приходится :p

Цитата:

---

Сообщение от Lethargeek

как раз подсматривать графику для раскраски или для тренировки нейросетей - куда больший спойлер

---

Цитата:

---

Сообщение от Lethargeek

всё равно человек должен провести предварительную сортировку изображений

---

Цитата:

---

Сообщение от NEO SPECTRUMAN

подсовывать похожие картинки

---

Я вот что думал вначале и пока развиваю тему, ещё не определился с некоторыми моментами:
Всё-таки плясать надо от графического процессора. Ему нужна постоянная память для микрокода, оперативная для текущего описания того что происходит на экране и перезаписываемая для результатов самообучения, если это интеллектуальная система, либо "профилей" для адаптированных отдельно игр... Авторы ULAX лукавят, говоря, что не модифицируют код игры. Да он сам по себе остаётся неизменный, но обрастает таким вот "профилем". Думаю, не смотря на то, что ими сделан решительный фичикат всех возможных хотелок, в железе проект появится не скоро, так как утромбовать всё в FPGA не так уж просто) Но даже в виде эмулятора на ПК работа проделана большая, снимаю шляпу...

Так вот делать отдельный графический процессор в железе лишь для косметики, для которой ещё и потрудится ручками дизайнеру нужно, как-то не так радужно выглядит, впрочем он будет выполнять роль скандаблера, что тоже не плохо) Я немного пофантазирую, с вашего позволения... Делать навороченную графическую систему и миллионы цветов конечно же не стоит, выпадает из стилистики ретро ПК, во первых, а во вторых и вправду слишком затратно по ресурсам)

Что надо, как я думаю. Простые 2Д примитивы, круг, квадрат и треугольник с несколькими параметрами положения от центра тайла, к которому они относятся масштабированием и пропорциями. Без текстур, но может придумать какую-то аналогию шейдерам, чтоб помимо контура и заливки (отдельными цветами из палитры в 65К) можно было ещё какой рисунок внутри изобразить. Анимированные спрайты для персонажей, ну тут понятно, картинка разбитая на фрагменты кадров, с заданием размера кадра, для вычисления смещения. Количество цветов можно ограничить 256 из палитры 65К также, не забыв про прозрачность... Тайлы и спрайты будут иметь Z координату глубины, для просчёта наложения, а разбиение картинки на слои уже можно делать при проектировании новых игр)

А вот теперь самое интересное. Вместо "профилей" для каждой игры, я бы предложил расширяемую библиотеку тайлов и спрайтов, чтоб интеллектуальный графический процессор сам раскрашивал новые, выявляемые ресурсы, одновременно пополняя библиотеку и давая человеку, не вмешиваясь в процесс, просто давать оценку результату. Типа ставим на паузу и спрашиваем, нравится да, хозяин?))

Цитата:

---

Сообщение от PavelZX

Авторы ULAX лукавят, говоря, что не модифицируют код игры. Да он сам по себе остаётся неизменный, но обрастает таким вот "профилем".

---

Нет, лукавство - это подменять вот так вот понятия. Код игры не модифицируется, и точка.
Но для дополнительной раскраски, как при любом подходе, нужно дать и дополнительную инфу.
Вопрос в том - сколько, и насколько долго-трудоёмко это получится.

- - - Добавлено - - -

Цитата:

---

Сообщение от PavelZX

Что надо, как я думаю. Простые 2Д примитивы, круг, квадрат и треугольник с несколькими параметрами положения от центра тайла, к которому они относятся масштабированием и пропорциями. Без текстур, но может придумать какую-то аналогию шейдерам, чтоб помимо контура и заливки (отдельными цветами из палитры в 65К) можно было ещё какой рисунок внутри изобразить. Анимированные спрайты для персонажей, ну тут понятно, картинка разбитая на фрагменты кадров, с заданием размера кадра, для вычисления смещения. Количество цветов можно ограничить 256 из палитры 65К также, не забыв про прозрачность... Тайлы и спрайты будут иметь Z координату глубины, для просчёта наложения, а разбиение картинки на слои уже можно делать при проектировании новых игр)

---

это всё если и сработает, то лишь для спрайтов, но не вычисляемой графики
улучшение не должно быть частично примитивнее улучшаемого

Цитата:

---

Сообщение от PavelZX

А вот теперь самое интересное. Вместо "профилей" для каждой игры, я бы предложил расширяемую библиотеку тайлов и спрайтов, чтоб интеллектуальный графический процессор сам раскрашивал новые, выявляемые ресурсы, одновременно пополняя библиотеку и давая человеку, не вмешиваясь в процесс, просто давать оценку результату. Типа ставим на паузу и спрашиваем, нравится да, хозяин?))

---

расширяемую вечно в бесконечной ёмкости памяти? для конечной всё равно закончится аналогом "профилей"

Плюс к тому, не забываем, что на спеке цвет - динамический, то есть разные цвета могут назначаться одинаковому исходному объекту как перед выводом, так и после. При этом в законченном кадре из-за перекрытия объектов часть информации о форме и особенно о цвете (так как атрибутное разрешение намного меньше пиксельного) будет утеряна. То есть статического анализа для правильной раскраски заведомо недостаточно, а динамический невозможен без анализа кода, поскольку вывод часто производится сперва в буфер (или мелкие отдельные буфера), а уж потом происходит переброска на экран уже без утерянной информации.

Цитата:

---

Сообщение от Lethargeek

улучшение не должно быть частично примитивнее улучшаемого

---

Вот это можно было бы и обсудить. Вы как раз решили со своим проектом, что советчиков вам не надо, может это и правильно. А я наоборот пообщаться хочу (потрепаться, как кто-то может сказать), прежде чем приступить к чему-то большему, чем сбор информации... Просто не раз обращал внимания, что многие бы с удовольствием занялись разработкой игр под ретро ПК, но чтоб не так уж хардкордно это было и средства разработки приятные появились) Но я понимаю разработчиков, что делать графический редактор и игровой движок под полный примитив в виде того что предлагает Спек 48/128 или аналогичные, крайне затруднительно, тем более чтоб на этом же железе вести разработку. Более поздние клоны предлагают только больше цветов (некоторые больше точек) и памяти, но там нет сопроцессоров графики (только звук). Это что касается Спека. Но можно спросить пользователей других ретро платформ, а может и они бы не отказались от такой видеокарты. Разработать народный графический акселератор для современных ПК практически невозможно, но в нашем случае как раз может и стоит овчинка выделки... Но это я так мечтаю пока))

- - - Добавлено - - -

Цитата:

---

Сообщение от Lethargeek

не забываем, что на спеке цвет - динамический, то есть разные цвета могут назначаться одинаковому исходному

---

Блин, я замахнулся на создание искусственного разума, в перспективе... http://caix.ru А такая задачка просто для разминки, чтоб отвлечься от дум о возвышенном))

Цитата:

---

Сообщение от PavelZX

я замахнулся на создание искусственного разума

---

замах судя по всему приличный, а то уже только на этом форуме озвучен замах на три мегапроекта

Цитата:

---

Сообщение от Raydac

замах судя по всему приличный

---

А что мелочится то? Проектом СИМа я плотно занимаюсь уже 5 лет с небольшим, а задумываться о чём-то подобном начал 13 лет назад, не считая конечно же той повести фантастической, что написал 28 лет назад (а намного позже оцифровал и решил понемногу писать продолжение). Для многих форумчан 15 или 30 лет не срок, для реализации своих задумок, так что я ещё очень скромен... Просто генерирую фонтан идей в разных областях постоянно, это в моей природе))

Цитата:

---

Сообщение от PavelZX

А такая задачка просто для разминки, чтоб отвлечься от дум о возвышенном))

---

и даже на разминке уже понятно, что искусственный (да и настоящий) разум не всемогущ и во многих случаях недостающую информацию восстановить не может даже в теории

Цитата:

---

Сообщение от Lethargeek

искусственный (да и настоящий) разум не всемогущ

---

А я как раз то немного иначе смотрю на это. Человек сам по себе очень слаб, только отдельные индивиды могут длительно контролировать свои чувства, поступать логично и контролировать окружение. Тем более глупо думать о каком-то всемогуществе... Сила людей во взаимодействии, когда они дозируют свои собственные интересы и интересы группы. СИМ, кстати, я разрабатываю как сообщество таких синтетических индивидов, объединённых в разные группы, каждая из которых будет заниматься определённым, интересным им направлением)

Я очень скромен в оценки своих способностей, поэтому не рвусь что-то сделать по быстрому, кому-то что-то доказать...

а по поводу советов - думаю, никому не нужны советы, как сделать хуже :)

Цитата:

---

Сообщение от Lethargeek

недостающую информацию восстановить

---

Не обязательно её восстанавливать в полном объёме, можно что-то просто додумать, проявить фантазию)

Цитата:

---

Сообщение от PavelZX

можно что-то просто додумать, проявить фантазию)

---

ага, еще проще запустить аналогичную игру на другой платформе, ничего не изобретая

- - - Добавлено - - -

или даже не совсем аналогичную, но "додумать, проявить фантазию" тысызыть :rolleyes:

Цитата:

---

Сообщение от Lethargeek

никому не нужны советы, как сделать хуже

---

Это чисто от особенностей характера человека зависит. Кто-то, слушая такие советы, просто откинет их и пойдёт своим путём, а кто-то наоборот повернёт не туда, понадеясь на мнения авторитетов. Фильтрация таких советов не всегда должна полагаться на логику, иногда может помочь банальная интуиция)

- - - Добавлено - - -

Цитата:

---

Сообщение от Lethargeek

ага, еще проще запустить аналогичную игру на другой платформе, ничего не изобретая

- - - Добавлено - - -

или даже не совсем аналогичную, но "додумать, проявить фантазию" тысызыть :rolleyes:

---

Так большинство игр на мобильных платформах и делают))

Цитата:

---

Сообщение от PavelZX

а кто-то наоборот повернёт не туда, понадеясь на мнения авторитетов.

---

то есть понадеясь, что будет лучше

- - - Добавлено - - -

Цитата:

---

Сообщение от PavelZX

Так большинство игр на мобильных платформах так и делают))

---

так и играли бы в мобильные платформы, при чём тут спектрумы?

Цитата:

---

Сообщение от Lethargeek

при чём тут спектрумы

---

Если ко мне вопрос, то тут возможность совместить электронику и программирование, немного поднять свои скиллы в CPLD/FPGA. Да и нравится ваша компания просто)

Цитата:

---

Сообщение от PavelZX

совместить электронику и программирование, немного поднять свои скиллы в CPLD/FPGA. Да и нравится ваша компания просто)

---

А. Так бы сразу и сказал, что спектрум не главное.

Цитата:

---

Сообщение от Raydac

уже только на этом форуме озвучен замах на три мегапроекта

---

https://zx-pk.ru/threads/32225-kompy...realnosti.html
Это просто идея пока, появилась она раньше, чем её озвучил, но буду ли ей заниматься зависит чисто от того, смогу ли найти единомышленников. Нынче вообще мало кто помнит про то что были такие аналоговые компьютеры. Хотя многие российские военные разработки, по сути, это симбиоз аналоговых и цифровых систем, но это закрытая информация...

Идея видеокарты с распознаванием спрайтов и тайлов, аппаратной отрисовкой в цвете с более высокими возможностями, нежели было изначально у ретро-компов, стала естественным развитием идеи "Ковчега":
https://zx-pk.ru/threads/32274-ne-sp...o-kombajn.html

Нет чёткой ориентации чисто на Спек? Да, потому что суперпопулярность Спека в СНГ это не от хорошей жизни, как я считаю. Очень здорово, что на форуме для Спека представлены другие платформы. Но познакомится с большинством можно только в эмуляторах. Только отдельные энтузиасты из СНГ могут себе позволить иметь несколько разных компьютеров в железе и как-то их сравнивать между собой. Поэтому и задуман "Ковчег", но помимо возможности одновременного запуска пары разных ретро компов, хочется добавить некий элемент, который не просто улучшает отображение старых игр, но позволить создавать продолжения и новые программы. Главное, чтоб не использовать современный ПК)

- - - Добавлено - - -

Да, я мечтатель, генератор идей, причём не только связанных с компьютерами:
http://shal.pw/blog/post/socialnaya-...rodah-i-syolah

Но я не только мечтаю, но и что-то делаю, чтоб их реализовать. Уехал из города, оставив всё детям и с нуля обустраиваюсь на селе. Свой дом и земельный участок мне позволит не только возможность вести ЗОЖ, но и обустроить обширную многофункциональную мастерскую...

Цитата:

---

Сообщение от PavelZX

Да, я мечтатель, генератор идей,

---

Цитата:

---

Сообщение от PavelZX

Но я не только мечтаю, но и что-то делаю, чтоб их реализовать.

---

вот когда реализация появилась бы, тогда и можно было тему открывать в разделе hardware
а для мечтаний здесь "концепции" предусмотрены

Тему отдельную не буду создавать и поднимать какую-то из старых...

Купил телек с трубкой, не особо старый Rolsen C21R95 http://monitor.espec.ws/section1/topic130257.html посчитал, что для ретро-компа, в классическом виде нужно использовать только телевизор с ЭЛТ. Кстати на этом телеке stereo вход звука и два динамика, соответственно. Разъёма SCART на нём не оказалось, а, вместо него, был распаян AV вход-выход, который я удалил. SCART взял с какого-то хлама и впаял на место. Распаяв 8 резисторов на 100 Ом (взятых от-туда же где был разъём) и удалил 4 перемычки, замыкающие на землю 45-48 выводы видепроцессора TDA9381PS, одна перемычка была под корпусом микросхемы, поэтому пришлось перерезать дорожку между 45 выводом и контактной площадкой перемычки.

Поискав информацию о подключении спектрума, определил, что надо будет обеспечить подачу управляющего напряжения 1-3 вольта на 16 вывод разъёма, чтоб задействовать RGB, это напряжение надо дополнительно фильтровать, чтоб не проникали помехи на телевизор. Есть ещё сложность в том, что синхронизацию мы подаём на видеовход (20 вывод разъёма) и может быть ложная засветка чёрного фона, где её не должно быть. Пока не проверил как будет работать всё, надо искать соединительный кабель, вернее покупать ответный разъём и экранированные провода, чтоб спаять его, так как найти готовый вряд ли удастся)