1. Добро пожаловать на SoundForum.ru! - форум, посвященный в первую очередь звуковому оборудованию - от профессионального концертного до домашних Hi-Fi систем и автозвука, а также сценическим световым и видео системам, звукоизоляции, музыкальным инструментам.
  2. Профессиональное общение и ответы на ваши вопросы! На форуме отвечают специалисты высокой квалификации, приветствуется профессиональное общение, постоянные участники форума имеют привилегии.
  3. Бесплатное размещение объявлений - на форуме можно бесплатно размещать объявления о продаже и покупке оборудования, услугах.

Цветомузыкальная установка - новая идея

Тема в разделе 'Системы управления светом', создана пользователем ColourMusic, 2 окт 2011.

  1. ColourMusic

    ColourMusic Новичок

    Сообщения:
    5
    Симпатии:
    0
    Доброе утро.
    Мне необходима небольшая консультация в области цветомузыки.
    Интересуюсь цветомузыкой довольно-таки давно, но серьезно начал изучать предметную область по данному направлению совсем недавно в рамках магистерского дипломного проекта, который буду защищать через 2 года.
    Но уже сейчас надо активно работать на данную тему, т.к. скорее всего результатом моей работы будет прототип (в зависимости от работы команды). Поэтому прошу Вас поделиться любой информацией связанной с данной темой.

    Цель проекта заключается в том, чтобы создать ЦМУ (цветомузыкальную установку), которая будет автоматически визуализировать музыкальный трек без какого-либо участия человека.
    Идея (изюминка): данная установка будет условно разделять музыкальный трек на музыкальные инструменты и визуализировать каждый инструмент отдельным светоизлучателем, изменяя цвет в зависимости от мелодии данного инструмента (предполагается, что будут применяться LED RGB лампы).

    Хотелось бы узнать, существуют такие разработки или нет? Если нет, вас бы заинтересовала такая разработка как пользователя?

    Информация которой я располагаю: по-моему мнению, цветомузыкальные установки разделяются на 2 типа. Автоматизированные и установки управляемые специалистом. Первые - разработки конца 80х (напр. тут) и работают на основе ловли частот, что не может точно визуализировать каждый инструмент в треке, а визуализирует по большей части хаотичным миганием в такт, вторые - DMX512 контроллеры (из Вики) предназначены для специалистов и позволяют заранее моделировать цветомузыкальную композицию. Такие контроллеры в основном применяются для проведение концертов, шоу. Поиск пока-что дает размытые ответы. Хотелось бы узнать мнение специалиста.

    Задавайте вопросы, обязательно на них отвечу.
    Заранее благодарен за ответы. Очень надеюсь на вашу помощь.
  2. LightMechanic

    LightMechanic Профи

    Сообщения:
    251
    Симпатии:
    13
    Re: Цветомузыкальная установка - новая идея.

    Здравствуйте.
    Описание "изюминки" звучит несколько фантастично.
    Не представляю себе алгоритма, способного обычную сведенную фонограмму анализировать и выделять из неё инструменты.
    Это покруче распознавания речи будет...

    Некое устройство, видимо, будет вынуждено анализировать фонограмму, сопоставляя её с очень-много-многотеррабайтной базой сэмплов звучания всех известных человечеству музыкальных инструментов во всех вариантах электронной обработки...
  3. LightMechanic

    LightMechanic Профи

    Сообщения:
    251
    Симпатии:
    13
    Re: Цветомузыкальная установка - новая идея.

    Тут не только небольшая консультации не поможет, но и вряд ли хватит даже 2-х лет на то, чтобы только углубиться в тему ))
    Сопоставить цвета частотам и отрегулировать характер реакции контроллера так, чтобы не было хаотичных мырганий - будет лишь последней "вишенкой на торте". После того, как научитесь выделять из фонограммы инструменты.
    И "вишенка" может уже не понадобиться - за успехи в данной области вполне реально какую-нить премию получить, типа нобелевской ))
  4. LightMechanic

    LightMechanic Профи

    Сообщения:
    251
    Симпатии:
    13
    Re: Цветомузыкальная установка - новая идея.

    Если упростите свою фантастическую идею до того, чтобы обрабатывать многоканальный студийный материал, где каждый инструмент записан отдельным треком - реализация станет более реальна. С MIDI-партитурой - еще проще.
    Но и в том и другом случае для обычного потребителя/слушателя на бытовом уровне ваши наработки никак не помогут.
    Профессионалы же, при создании эксклюзивного шоу, уже на данный момент могут вручную привязать к фонограмме индивидуально прописанную программу управления светом...

    Опять же, далеко не факт, что "дословная" визуализация партии конкретного инструмента будет так же эстетична на вид, как и приятна на слух )) И уж совсем маловероятно, что она столь же гармонично "смикшируется" с другими отвизуализированными инструментами.

    P.S. О "Прометее" Скрябина А.Н., полагаю, в курсе? Ну я так, переспросил на всякий случай. Потому что "погружение" в тему надо начинать с 1910-го года примерно. Держа в уме, что с тех пор достижения в области "цветомузыки" так и не достигли впечатляющих высот - так, какие-то мырганья не очень в такт ))
  5. ColourMusic

    ColourMusic Новичок

    Сообщения:
    5
    Симпатии:
    0
    Пока мне представляется "гибридный" вариант решения задачи, т.е. обработка поэтапно:
    1) Сужение области распознание методом отсеивания лишних по некоторым параметрам звуков (напр. по частоте, как в автоматич.ЦМУ) + использование модуля, назовем его "эквалайзером распознания", в котором можно выбрать какой стиль музыки играет (напр. рок - один набор инструментов, электронная - другой, т.е. область распознания сузилась) и т.д.
    2) Поиск подобных звуков (напр. в программе звуки ударных инструментов, по-моему, несложно отличить от гитары, так же как звуки скрипки от органа), сбор подобных звуков в партию.
    3) Ну и само распознание с сэмплами. В основном современная электронная музыка создается с помощью таких программ, как, напр. fruity loops, Adobe Audition (мое мнение), но у них нет многотеррабайтной базы сэмплов, т.к. базовые инструменты проходят электронную обработку (как вы выше написали). Насколько я понимаю, данные программы используют базовые звуки, после чего они обрабатываются музыкантом. Следовательно, как мне кажется, возможно реализовать обратный алгоритм, когда уже собранные в партию звуки (из музыкального трэка) будут обрабатываться до максимального приближения к базовому звуку, который находится в базе сэмплов , чтобы определить какой инструмент играет. Ну а после уже обрабатывать звук по мелодии и распределять цвета на каждую ноту.
    Следовательно, возможно создать алгоритм, который вместо того, чтобы находить полное соответствие звука в трэке с огромной базой сэмплов, сначала проводит звук через несколько этапов обработки, что позволяет сузить базу сэмплов до напр. гигабайтов.

    Так же стоит учесть, что идея не предусматривает полное распознание инструментов вплоть до нот в партии инструментов (хотя такой алгоритм тогда можно будет использовать не только в сфере цветомузыки). В первом посте я написал о распознавании звуков на инструменты для того чтобы было легче понять идею проекта. Важно распознать звук хотя бы по типу инструмента - ударные, струнные, духовые, вокал и отнести его на светоизлучатель, присваивая ему определенный цвет. Естественно по началу проект будет развиваться в направлении простой ЦМУ, предназначенной для кафе, баров, небольших клубов, где количество светоизлучателей не превышает 10-15. Когда проект достигнет этого уровня, тогда уж можно будет говорить о полноценном распознании инструментов, которое может применяться на мероприятиях с большим количеством светоизлучателей (концерты и пр.). Хотя до этого еще «копать и мотыжить». Не думаю, что я смогу дойти до такого уровня. Я, честно говоря, сильно сомневаюсь, что смогу вообще до какого-либо уровня дойти ))

    Проблема в том, что, на сколько я знаю, уже существуют DMX контроллеры, которые принимают MIDI-трэки и обрабатывают их (во-всяком случае в свойствах продуктов я видел ссылку на MIDI файлы) и двигаться в этом направлении не следует, т.к. спрос на такой продукт будет слишком мал и инвесторы деньги на разработку не дадут.

    По поводу создания эксклюзивного шоу, туда соваться не стоит. Т.к. там уже идет не простая визуализация муз.инструментов, а придание цветомузыке какой-то идеи\смысла.
    Это уже будет задача на этапе «вишенки на торте». Я думаю, что если удастся решить базовую задачу распознания, то гармоничное визуализирование инструментов станет большой проблемой. Сейчас есть мысли, что задача будет решена с помощью: 1) распределения цвета так, чтобы одновременно не было вспышек разными светоизлучателями одинаковых цветов (напр. светло-красный барабан, с темно-красной гитарой), т.е. на один момент можно изменить «планируемый» цвет звука на немного другой, визуализация, думаю, не испортится; 2) Распределить положение светоизлучателей так, чтобы они не светили в одну сторону. Напр. ударные инструменты (бочка, барабан, бас, которые, отбивают темп) будут визуализироваться по высоте рядом с полом, а скрипки, флейты, пищалки, визжалки (в зависимости от стиля музыки) будут визуализироваться на уровне потолка, условно говоря )).

    Конечно знаю, история это первое что я начал изучать, дабы не повторяться с идеей - вдруг уже реализовано. По истории зашел даже дальше – начиная от танцев с огнем и продолжая греческими и римскими идеями о создании музыки цвета ))

    В принципе, поэтому и начал искать форумы, где можно получить живую информацию о цветомузыке и мнение об идее (+подтверждение её уникальности), если повезет мнение профессионала)
  6. kulik

    kulik Новичок

    Сообщения:
    147
    Симпатии:
    15
    LightMechanic, респект!:) Что называется, паржал:D
  7. LightMechanic

    LightMechanic Профи

    Сообщения:
    251
    Симпатии:
    13
    Хм. Например, у Инны Желанной саксофонист через обработки играет, в т.ч. дисторшн...
    Классифицировать эти звуки порой задрудняется даже человеческий разум...
    Про их басиста ваще молчу ))
  8. LightMechanic

    LightMechanic Профи

    Сообщения:
    251
    Симпатии:
    13
    Нууу... Сами они ничего не обрабатывают. Способны поймать "метку", чтоб использовать её как триггер для смены сцены.
    Не хочу расстраивать... Но инвесторы ни на что подобное в приципе денег не дают и не дадут уже никогда ))) Быстрей и проще их самому заработать, собственноручно производя успешное устройство, рекламируя его в инете и используя в собственных проектах.

    Чот мне кажется, что перечисленные выше идеи вполне реально осуществить на базе существующих и более-менее отработанных принципов "цветомузыки"... Плюс скоммутировать приборы так, чтобы на нижние шел сигнал с контроллера, отрабатывающего низкие частоты и т.д. - в соответствии с замыслом.
    Мельтешение и нежелательные срабатывания можно настраивать "софтово" - настраивая порог чувствительности, задержки и т.п.

    В общем и целом, "ниша" для реально востребованного продукта теоретически есть. Выглядеть это может так: удобный софт для анализа фонограммы по частотам (со всеми настройками) + некий стандартный USB-DMX контроллер. Берете готовый - своего даже паять не придется.
    А дальше уже тупо вопрос удобства распределения приборов по назначению, адресация, размещение, коммутация...

    Сделаете красивый и удобный продукт - сможете заработать дених и мож инвесотры подтянутся...

    P.S. Эту тему не копал... Но совершенно не удивлюсь, если нечто подобное уже есть ))) Так частенько бывает - придумаешь что-то сам, а оно уже кем-то реализовано ))
    ColourMusic нравится это.
  9. ColourMusic

    ColourMusic Новичок

    Сообщения:
    5
    Симпатии:
    0
    Как раз недавно стоял вопрос о проблемах создания такого аппарата: мне говорили о том что в России аппарат "под ключ" создать довольно-таки сложно, а если делать за рубежом, то будут проблемы на границе (растаможка и пр. неудобности). Спасибо за идею!

    Точно. Поэтому и ищу сейчас аналоги, но пока что еще ничего подобного не нашел)

    Кстати, существует ли какой либо анализ рынка продуктов в сфере цветомузыки?
    Нашел только журнал"Анализ и прогноз развития мирового рынка DMX контроллеров" в интернете , но он стоит от 4200$ )
  10. klinsman

    klinsman Новичок

    Сообщения:
    3
    Симпатии:
    0
    Очень интересный вопрос затронут. Но по моему, только как теоретический. Представить результат работы "этого продукта" довольно просто.
    Нужно найти MIDI-партитуры какого либо произведения. и свести этот разделенный на инструменты свет.

    Но... Вопрос: "Нахрена козе боян?" Представте партию органа... Изредка, раз в 40 секунд красный фонарь будет гаснуть. Если разложить ноты на цвета, смена цвета будет происходить раз в 3-5 секунд. И все это под разноцветное мигание барабанов (как вы понимаете, барабан не на одной ноте стучит). Получится "какафония цвета". Если орган сделать разноцветным, а барабаны к примеру только желтым, то это уже пошло творчество, похожее на "заранее смоделированную цветомузыкальную композицию". А ведь это рассмотрены только два инструмента из возможных 5-20.

    Пока пишу этот пост, слушаю рок-баллады. Представил себе это разделение инструментов... бр... Представте хотябы соло гитары. 8-12 звуков в секунду. Этож самый обыкновенный стробоскоп : )

    А Вы, уважаемый ColourMusic прислушайтесь к LightMechanic:"После того, как научитесь выделять из фонограммы инструменты" Вам вряд ли понадобится привязывать такое ДИВО к светооборудованию для: "кафе, баров, небольших клубов". Дерзайте.
  11. ColourMusic

    ColourMusic Новичок

    Сообщения:
    5
    Симпатии:
    0
    Да, я пока занимаюсь темой "распознавания музыкальных инструментов".
    По поводу органа и барабана... По распределению цвета на звуки - задача завершающая (в моем проекте) и мне кажется, должна быть разобрана (в полном смысле, включая все аспекты) после того, как получится распознавать инструменты. Данная тема не легкая и потребует больше творческого подхода.
    Первые мысли про аккорды гитары (если вы подразумеваете 8-12 звуков именно как аккорд): - можно сделать средний цвет из всего аккорда и получится как раз 1-2 лампы; - по поводу рока: ни разу не видел цветомузыку на рок, честно) Но и здесь в принципе тоже можно решить проблему. Это, как я уже говорил, отдельная тема, которая вполне выполнима. Пока, то что я написал - всего-лишь первые мысли. По поводу "какафонии цвета", я вам оставлю несколько названий видеозаписей, что находятся на ютубе:

    Halloween Light Show 2011 - Party Rock Anthem (по-моему очень даже ничего)
    2007 - Trans-Siberian Orchestra - Christmas Eve in Sarajevo
    Christmas 2009 - Star Wars The Clone Wars - End Credits
    Awesome Christmas Lights!

    Примеры, конечно, не совсем хорошие, но они показывают как примерно все будет выглядеть в моем понимании.

    ---------------
    По проекту:
    Сейчас уже нашел литературу по распознаванию именно музыкальных инструментов. На сколько я понял уже есть какие-то алгоритмы, позволяющие распознавать инструменты (пока только начинаю читать, после отпишусь обязательно, если не забуду). Есть, между прочим, программа позволяющая вытаскивать партии инструментов из музыкального файла, правда тухлая, но все же достойная. Вот тут Можно скачать побаловаться. Там триал на 2 недели.

    В общем проблема распознавания инструментов вполне решаемая. Меня только терзают сомнения - пригодится ли кому-нибудь такой программный продукт? Вот поэтому и рассматриваю (уже как запасной) вариант реализации технологии через цветомузыку. Хотя и здесь тоже меня терзают сомнения)
  12. LightMechanic

    LightMechanic Профи

    Сообщения:
    251
    Симпатии:
    13
    Синхронизация световой программы с конкретной фонограммой. Либо по таймингу - при одновременном запуске программы и трэка привязка шагов к долям секунды, либо миди-метки в качестве триггеров для запуска шагов.
    Ручная кропотливая работа. Ничего общего ни с цветомузыкой, ни с распознаванием чего либо...
  13. LightMechanic

    LightMechanic Профи

    Сообщения:
    251
    Симпатии:
    13
    Хм. Похоже Вас опередили. Ощутимо так.
    Может связаться с разрабоотчиками и предложить кооперацию? Типа взять на себя направление цветомузыки на основе их алгоритмов.
  14. ColourMusic

    ColourMusic Новичок

    Сообщения:
    5
    Симпатии:
    0
    Да, это так. Я просто показал примеры как это может выглядеть, только в автоматическом режиме и без разных цветов.
    В принципе можно оставить этот вариант на черный день, если у меня ничего не получится. К сожалению, по моему мнению, данная программа не доработана. Распознание хромает довольно-таки сильно.
    Тем более, что они распознают музыку относительно какого-то инструмента (vocal, guitar, piano и еще 3-4). У проектируемой же системы должно быть распознавание всех инструментов сразу. Тем более конкурент только один - есть смысл расширять рынок. В общем достаточно плюсов в сторону создания собственного продукта. Ну а потом, параллельно, запущу все на цветомузыку.

    Это снова наполеоновские планы. Надеюсь их осуществление возможно.
  15. discolux

    discolux Новичок

    Сообщения:
    4
    Симпатии:
    0
    Такая разработка есть (отвечаю на первый вопрос в данной теме). Сайт Discolux.ru . Контроллер DL-1203. Видео работы здесь:
    http://www.youtube.com/watch?list=ULeCvA0x7W0Jg&v=eCvA0x7W0Jg&feature=player_detailpage
    http://www.youtube.com/watch?list=ULNiJtOyrnLkw&v=NiJtOyrnLkw&feature=player_detailpage
    http://www.youtube.com/watch?list=ULLtjTgoCa4FM&v=LtjTgoCa4FM&feature=player_detailpage
    И даже фонтаны делаем:
    Танцующий фонтан DiscoLux - YouTube
Телефонные гарнитуры Светодиодные экраны