Adobe расширяет возможности генеративного ИИ в области звука
В июне компания представила масштабные изменения для Firefly, включая большое количество новых навыков для помощника на основе искусственного интеллекта Firefly AI Assistant. Новые функции интегрировали агентские возможности в Elements — удобный набор инструментов для редактирования видео и фотографий. Все это позволило пользователям добавлять персонажей, локации и объекты, которые остаются неизменными в разных проектах.
Последние новые инструменты включают в себя генераторы музыки, речи и звуковых эффектов:
- Generate Music - этот инструмент использует модель Firefly Music и создает оригинальные треки с универсальной лицензией, адаптированные под продолжительность и настроение видео пользователя, чтобы музыка соответствовала любому создаваемому контенту без проблем с авторскими правами. Его также можно точно настроить в соответствии с брендом и стилем презентации.
- Generate Speech использует как Firefly Speech, так и модель от ElevenLabs Inc. Данный инструмент может взять текст и превратить его в плавную, естественную озвучку с возможностью управления голосом, темпом и эмоциональным окрасом. ElevenLabs известна своими чрезвычайно мощными речевыми моделями, которые позволяют создавать широкий спектр синтетических голосов с различными возможностями, эмоциональностью и степенью контроля.
- Инструмент для создания звуковых эффектов также включает в себя базовую модель Firefly, которая создает пользовательские эффекты, используя подсказку (prompt), подстраиваясь под ритм и энергетику контента для получения соответствующего звучания.
«Возвращение к учебе и попытки поддерживать постоянный темп работы в качестве создателя контента могут быть очень утомительными», — говорит Эстер Рехема, создательница контента о моде, красоте и стиле жизни. «Возможность найти музыку, подходящую для коммерческого использования и соответствующую моему контенту, кардинально меняет ситуацию».
Компания Adobe также заявила, что аудио, созданное с помощью Firefly Studio, имеет профессиональное качество и безопасно для коммерческого использования, как и все остальное, созданное её моделями искусственного интеллекта. Для использования любых треков, созданных с помощью этого инструмента, отдельная подписка не требуется.
Инструменты для генерации звука с помощью ИИ, от музыки до спецэффектов, пользуются популярностью уже много лет. К ним относятся такие инструменты, как Lyra 3 от Google LLC, модель с открытым исходным кодом Stable Audio от компании Stability AI Ltd и другие.
