Google представляет передовую модель Genie 4 для генерации 3D миров
Новый алгоритм — это последнее дополнение к серии моделей, запущенных компанией в 2024 году. По сравнению со своей предшественницей, модель Genie 4 лучше справляется с рендерингом плавных движений и других сложных деталей. Кроме того, она может генерировать сопровождающий звук, например, звук разбивающихся волн.
«Наиболее впечатляющий прорыв заключается в том, как Genie 4 имитирует людей, создавая персонажей, которые двигаются естественно, органично реагируют на окружающую среду и могут интерактивно управляться в режиме реального времени», — написали сотрудники Google DeepMind Райя Хадселл, Диего Ривас и Ханг Ци в своем блоге.
Пользователи могут создать виртуальный мир, предоставив модели Genie 4 описание желаемого объекта на естественном языке. Затем они могут перемещаться по симуляции и вносить изменения, вводя соответствующие подсказки. Например, пользователь может попросить Genie 4 изменить погоду или добавить больше каких-либо объектов. При этом модель может вносить изменения таким образом, чтобы это не снижало фотореализм и согласованность виртуального мира. В Genie 4 помимо управления с клавиатуры доступен интерфейс, основанный на естественном языке. С его помощью можно изменять положение и угол наклона камеры.
Для повышения качества выходных данных внутри Genie 4 используется несколько других моделей Google. Чтобы обеспечить реалистичность создаваемых визуальных элементов используется Gemini Omni - видеогенератор, представленный поисковым гигантом еще в мае этого года. Оптимизированная для экономичности модель рассуждений Gemini 3.8 Flash обеспечивает согласованность отдельных кадров симуляции.
«Модель Gemini непрерывно наблюдает за происходящим, разбивает цели на последовательность шагов и анализирует поступающие кадры, чтобы отслеживать прогресс и проверять, был ли выполнен каждый ша», — написали Хадселл, Ривас и Ци. «Если что-то меняется или в процесс вмешивается пользователь, Gemini мгновенно адаптирует свой план».
В настоящее время компания DeepMind изучает возможности применения модели Genie 4 в робототехнике. В рамках проекта алгоритм Genie 4 объединяется с Gemini 4 Argon — флагманской большой языковой моделью Google, оптимизированной для логического вывода. Цель проекта — предоставить инженерам возможность моделирования роботов с помощью высокоуровневых инструкций. Например, пользователь может попросить Argon сгенерировать синтетические кадры, на которых роботизированная рука сваривает две детали автомобиля. Argon может преобразовать краткий запрос в десятки подробных подсказок для Genie 4, состоящих из нескольких предложений, каждое из которых описывает отдельный этап процесса сварки.
Увеличение количества и точности подсказок, предоставляемых модели Genie 4, повышает качество рендеринга. Это, в свою очередь, делает моделирование роботов более полезным для обучения искусственного интеллекта. Разработчики обучают модели ИИ управлять роботами, предоставляя им визуальные примеры выполнения задач, которые предстоит решать.
В настоящее время компания Google тестирует Genie 4 с ограниченным числом первых пользователей. Планируется, что модель будет доступна в рамках подписки Google AI Ultra для потребителей, через Gemini API и Google AI Studio.
