«Октава Дизайн и Маркетинг» презентовала отечественную фиджитал-разработку, превращающую движение в звук
Программно-аппаратный комплекс создает музыку, используя алгоритмы обработки голоса в реальном времени и алгоритмы компьютерного зрения, определяющего танцевальные движения людей в зале. Презентация проекта состоялась в историческом особняке «Дом Номер Один» на Якиманке в Москве. Вокальные партии исполнила меццо-сопрано Большого театра Элеонора Водянова.
Проект направлен на развитие отечественных фиджитал-технологий. Это особенно важно в свете грядущих «Игр Будущего» – масштабного спортивного события, построенного на концепции фиджитал и поддержанного Президентом Российской Федерации Владимиром Путиным.
Технически проект выглядит так: на танцпол направлена 3D-камера, изображение с нее анализируется алгоритмами компьютерного зрения, определяющими движения. Звуковая картина в помещении фиксируется при помощи радиосистемы Октава OWS-U1200H. Специально обученная нейросеть соединяет звучание окружающего пространства – фоновый шум, разговор гостей (без распознавания речи), шаги и т.д. – с движениями танцующего человека, а также голосом исполнителя. Вокал выступает в качестве мелодической основы генерируемого искусственным интеллектом в режиме реального времени музыкального произведения.
«Появление искусственного интеллекта дало толчок развитию во многих отраслях науки и технологий. Мы решили совместить искусство и технологии, став идеологом создания первого программного продукта, который сможет генерировать музыку на основе собираемых "на ходу" данных», – сказала генеральный директор компании «Октава Дизайн и Маркетинг» Любовь Стальнова.
«Октава Дизайн и Маркетинг» объединила несколько команд разработчиков, чтобы создать уникальную технологию написания музыки. В реализации интерактивного проекта применены алгоритмы компьютерного зрения, обработки голоса в реальном времени, алгоритмы генерации музыки и обработки видео, оригинальные синтезаторы и скрипты. Также была использована новая цифровая вокальная радиосистема Октава OWS-U1200H, отлично зарекомендовавшая себя на рынке аудиооборудования.
«Технология является воплощением философии живых пространств, главная идея которой заключается в принципиальной интерактивности любой современной техно-среды и возможности управлять параметрами данной среды с помощью голоса и физических действий», – рассказал один из разработчиков программы Андрей Лазоряк.
Техническим партнером проекта выступила компания «ОНТЕГРА, обеспечившая мероприятие современной техникой и ИТ-оборудованием. Также организация оказала содействие в создании специального программного обеспечения.
