Runway запускает новый видеогенератор GEN-4 на основе ИИ
Компания Runway запустила свой первый видеогенератор искусственного интеллекта Gen-1 в феврале 2023 года и получила финансирование в размере более 230 миллионов долларов от Nvidia Corp., Google LLC и других инвесторов. Новая модель Gen-4 знаменует собой четвертое поколение серии видеогенераторов компании.
Многие модели генерации видео основаны на нейронной сети, разработанной для генерации изображений. Причина в том, что видео представляет собой последовательность изображений, а это означает, что оно может быть сгенерировано по одному изображению за раз. Обычно это делается с помощью процесса, называемого диффузией: модель начинает с изображения, содержащего шум, и постепенно за несколько шагов добавляет в него детали.
Видеогенератор отличается от генератора изображений тем, что он должен обеспечивать согласованность визуальных эффектов во всех создаваемых кадрах клипа. Для этого требуется расширить ядро оптимизированных для диффузии искусственных нейронов дополнительными компонентами, что увеличивает сложность. Даже при наличии дополнительных компонентов обеспечение последовательности во всех кадрах клипа часто является для видеогенераторов очень сложной задачей.
Новая модель Gen-4 от Runway устраняет это ограничение. Она позволяет пользователям загружать эталонное изображение объекта, которое должно быть включено в видео, вместе с подсказкой, содержащей инструкции по созданию. Таким образом, Gen-4 гарантирует, что объект сохраняет неизменный внешний вид на протяжении всего клипа.
«Независимо от того, создаете ли вы сцены для длинного повествовательного контента или создаете фотографии продукта, Runway Gen-4 упрощает процесс последовательной генерации в различных средах», — написали сотрудники Runway в своем блоге.
Компания утверждает, что Gen-4 может сохранять целостность объекта, даже если пользователи изменяют другие детали. Дизайнер может, например, изменить ракурс съемки клипа или условия освещения. Также возможно поместить объект в совершенно новую среду. Помимо этого Gen-4 используется в качестве инструмента для редактирования изображений. Пользователи могут, например, загрузить две иллюстрации и попросить алгоритм объединить их в новый рисунок. Gen-4 генерирует несколько вариантов каждого выходного изображения, чтобы уменьшить необходимость в доработках.
Первоначально Runway позволит пользователям этой модели генерировать пяти- и десятисекундные клипы. Стартап выпустил несколько демонстрационных видеороликов продолжительностью почти две минуты, что намекает на то, что в будущем он может обновить Gen-4, чтобы клиенты могли создавать более сложные клипы.
Запуск Gen-4 состоялся вскоре после того, как компания OpenAI временно отключила для новых пользователей функции генерации видео в своей модели Sora. В качестве причины разработчик ChatGPT сослался на «большой трафик». Генеральный директор OpenAI Сэм Альтман заявил ранее, что менее чем за час компания добавила 1 миллион новых пользователей.
