Google разработал новую систему ИИ для создания высококачественной музыки
Google подробно описал новую систему в исследовательской статье от 26 января. Искусственный интеллект, известный как MusicLM, был обучен на 280 000 часов аудио. Он основан на более раннем музыкальном генераторе музыки с искусственным интеллектом под названием AudioLM, который был подробно описан в октябре прошлого года.
В качестве входных данных новая система MusicLM использует описание музыкального трека на естественном языке и автоматически генерирует соответствующий звук. Пользователи могут указать тип и количество инструментов, которые должен имитировать ИИ, жанр и другие детали.
MusicLM также позволяет пользователям описывать трек в более абстрактных терминах. Во время одного внутреннего теста исследователи Google поручили ИИ создавать музыку, которая «вызывает ощущение потерянности в космосе». Более того, MusicLM способен генерировать музыку на основе насвистываемой или напеваемой мелодии.
Система генерирует музыку, которая в некоторых случаях «остается стабильной в течение нескольких минут», уточняют исследователи Google. Внутренние тесты показали, что система искусственного интеллекта обеспечивает более высокое качество звука, чем существующие музыкальные генераторы на основе ИИ. Более того, она делает это, более точно придерживаясь описания, предоставленного пользователем.
MusicLM включает в себя не одну, а несколько нейронных сетей, каждая из которых управляет отдельной частью рабочего процесса создания музыки. Нейронные сети системы основаны на так называемой архитектуре Transformer. Представленная в 2017 году, эта архитектура Google является популярным методом проектирования систем искусственного интеллекта, который особенно широко используется для обработки естественного языка.
При принятии решения нейронные сети обычно анализируют несколько точек данных, например, о том, как следует генерировать музыкальное произведение. Архитектура Transformer позволяет нейронной сети расставлять для анализируемых точек данных приоритеты в зависимости от их важности. Наиболее важные детали влияют на результат обработки в большей степени, чем наименее важные, что повышает точность результата.
Система MusicLM также включает в себя подход искусственного интеллекта, известный как моделирование последовательностей. Этот подход подразумевает преобразование фрагмента текста, такого как пользовательское описание музыкального трека, в абстрактное математическое представление, называемое встраиванием. Это встраивание затем может быть преобразовано в другой тип данных (например, в аудио данные) проще, чем исходное текстовое описание.
Google еще не выпустил код для MusicLM. Тем не менее, исследователи компании опубликовали набор данных для обучения ИИ, чтобы поддержать дальнейшие исследования в области автоматического создания музыки. Набор данных включает около 5500 музыкальных произведений, каждое из которых имеет сопровождающее текстовое описание, призванное упростить их интерпретацию для нейронных сетей.
