Google открыла доступ к Genie 4 для создания интерактивных виртуальных миров

Genie 4 относится к классу «моделей мира» (world models). В отличие от генератора статичных картинок или обычного видеоролика, такая система формирует меняющуюся среду и учитывает действия человека. Пользователь может двигаться по виртуальному пространству с помощью клавиатуры и мыши, а модель продолжает создавать изображение с учётом направления движения, окружения и новых указаний.
В официальной карточке модели компания Google указывает вывод видео в реальном времени с разрешением 720p и частотой до 24 кадров в секунду, с синхронизированным звуком. Модель Genie 4 обрабатывает текст, изображения и действия пользователя. Для генерации используются мультимодальные механизмы семейства моделей Gemini: основу составляет Gemini Omni Flash, а дополнительные возможности рассуждения и управления сценой обеспечиваются другими моделями Gemini.
Одно из главных новшеств — возможность изменять мир по ходу взаимодействия. Пользователь может попросить сменить погоду, ввести в сцену персонажа или изменить направление действия.
Диего Ривас, групповой менеджер по продукту Google DeepMind, и Паван Кумар, групповой менеджер по продукту Google Labs, описывают эту функцию в официальной публикации: «Достаточно ввести новый запрос во время перемещения по миру, чтобы менять окружение в реальном времени».
Другим отличием от ранних версий стала встроенная генерация звука. Модель одновременно создаёт не только изображение, но и окружающие шумы, музыку и диалоги, которые должны соответствовать развитию виртуальной сцены. Если меняются условия или действия персонажей, звуковое сопровождение также может перестраиваться.
В состав обновлённого сервиса Project Genie также вошёл отдельный ИИ-агент, помогающий собирать мир через разговор на естественном языке. Пользователь описывает замысел, а агент координирует работу мультимодальных моделей, подбирает исходные визуальные элементы и фоновое сопровождение. Во время исследования созданного пространства модели Gemini могут анализировать происходящее на экране, предлагать дальнейшие действия и запускать события внутри сцены. В добавок к этому компания Google добавила галерею проектов, в которой можно просматривать, изменять и публиковать собственные миры. Среди примеров — интерактивный готический особняк и симуляция жизни муравьиной колонии. Такой формат делает Project Genie не только демонстрацией исследовательской модели, но и средой для совместного создания цифровых пространств.
Параллельно компания обновила модель Genie 3, которая остаётся доступной в переключателе моделей. Для неё заявлены сеансы продолжительностью до трёх минут вместо прежних 60 секунд, создание сцен на основе панорамных изображений с обзором 360 градусов и связывание нескольких миров в одну последовательность.
Создатели рассматривают модели мира как потенциальный инструмент для обучения роботов и агентов искусственного интеллекта в безопасных симуляциях. Пока модель Genie 4 остаётся исследовательской системой. По данным Google, в длительных сессиях и после сложных правок могут меняться мелкие визуальные детали, положение объектов и пространственные связи; сложная физика и точность звука также нуждаются в улучшении. Для генерируемых материалов предусмотрена маркировка технологией невидимых цифровых знаков SynthID и проверка безопасности.



