OpenAI представляет новый видеогенератор Sora 2
Sora 2 является преемником одноименного видеогенератора, запущенного OpenAI в прошлом году. По данным разработчика искусственного интеллекта, новый алгоритм значительно лучше моделирует физические явления, например, такие как плавучесть. Благодаря этому модель может генерировать сложные клипы, например, видеоролики с упражнениями по спортивной гимнастике или с плавающими на воде объектами. Более ранние модели испытывали трудности с такими задачами.
По данным OpenAI, более высокое качество выходного видео Sora 2 отчасти обусловлено тем, как модель обрабатывает ошибки, которые иногда возникают в процессе генерации видео. Во многих случаях модель способна нивелировать эти ошибки без существенного снижения качества видео.
«Предыдущие видеомодели были чрезмерно оптимистичны — например, чтобы успешно выполнить текстовую подсказку они трансформировали объекты и искажали реальность», — написали сегодня в блоге участники команды разработчиков Sora. «Например, если баскетболист на видео промахивался, мяч мог самопроизвольно телепортироваться в кольцо. В Sora 2, если баскетболист промахивается, то мяч отскакивает от щита».
Sora 2 превосходит своего предшественника и в других аспектах. В частности, модель может генерировать не только видео, но и аудио. Она способна генерировать речь на нескольких языках и добавлять к создаваемым клипам звуковые эффекты.
По сравнению с предыдущей версией видеогенератора Sora 2 поддерживает более подробные подсказки. Пользователи могут вводить подробные описания создаваемых клипов. Можно настраивать такие параметры, как оборудование камеры, которое Sora 2 должна имитировать, текстуру объектов, изображённых в клипе, и способ отражения света от этих объектов. Подсказки могут включать не только текст, но и короткое видео. Sora 2 может вставлять в создаваемые клипы изображения людей или объектов, содержащихся в загруженном видео.
Способность модели воспринимать видео в качестве входных данных легла в основу нового социального приложения, представленного компанией OpenAI. Приложение позволяет пользователям создавать клипы, вставлять в них свои изображения и делать ремиксы контента, созданного другими пользователями. Видеоролики, созданные с помощью Sora 2, отображаются в централизованной ленте. С момента запуска приложение доступно для пользователей iOS.
«Мы предоставляем пользователям инструменты и возможность контролировать то, что они видят в ленте», — пояснили разработчики Sora. «Используя существующие большие языковые модели OpenAI, мы разработали новый класс рекомендательных алгоритмов, которые можно обучать на естественном языке».
Приложение Sora изначально доступно только по приглашению в США и Канаде. OpenAI планирует «быстро» запустить его на других рынках. В дальнейшем поставщик ИИ добавит Sora 2 в ChatGPT и его API для разработчиков. Пользователи платного тарифного плана ChatGPT Pro получат доступ к расширенной версии модели под названием Sora Pro 2.
