Новые модели ИИ от DeepMind делают роботов более умными и способными
В число недавно выпущенных моделей входят Gemini Robotics 1.5, которая управляет роботами, а также модель рассуждений Gemini Robotics-ER 1.5. Компания DeepMind впервые представила эти модели в марте этого года, но тогда они были способны выполнять лишь отдельные задачи, например, расстегнуть на сумке молнию или сложить лист бумаги. Однако теперь эти модели способны на гораздо большее. Например, они могут сортировать одежду в корзине для белья по светлым и тёмным цветам, а также упаковывать чемодан, выбирая одежду, подходящую для прогнозируемых погодных условий в конкретном регионе. Для выполнения последнего задания им требуется найти в интернете актуальный прогноз погоды.
Модели также могут искать в интернете другую информацию, необходимую для выполнения различных задач. Например, для сортировки вторсырья в мусорной корзине, им следует найти в интернете информацию по местным правилам обработки и сортировки отходов.
Руководитель отдела робототехники DeepMind Каролина Парада отметила: «Эти модели помогут разработчикам создавать более эффективных и универсальных роботов, которые будут активно понимать окружающую среду».
На пресс-конференции Парада добавила, что обе модели работают в тандеме, давая роботам возможность просчитывать действия на несколько шагов вперёд.
«До сих пор модели отлично справлялись с выполнением одной инструкции за раз, используя весьма общий подход», — сказала она. «С этим обновлением мы переходим от одной инструкции к настоящему пониманию и решению физических задач».
Gemini Robotics 1.5 и Gemini Robotics-ER 1.5 известны как модели «зрение-язык-действие», но они предназначены для разных целей. Модель Gemini Robotics преобразует визуальную информацию и инструкции в двигательные команды, позволяющие роботам выполнять задачи. Прежде чем начать действовать модель Gemini Robotics 1.5 сперва думает. Она демонстрирует мыслительный процесс, помогающий роботам оценивать и выполнять сложные задачи максимально эффективно.
Что касается модели Gemini Robotics-ER 1.5, то она предназначена для анализа физической среды, в которой работает. Модель способна использовать цифровые инструменты, такие как веб-браузер, и создавать подробные многоэтапные планы выполнения конкретной задачи или миссии. После того, как план готов, Gemini Robotics-ER 1.5 передаёт его для выполнения в Gemini Robotics 1.5.
Модели также могут «учиться» друг у друга, даже если они настроены для работы на разных роботах. В ходе испытаний DeepMind обнаружила, что задачи, порученные роботу ALOHA2, имеющему две механические руки, впоследствии могут быть так же успешно выполнены двуруким роботом Franka и гуманоидным роботом Apollo от Apptronik.
«Это открывает нам две возможности», — сказала Парада. «Во-первых, мы можем управлять самыми разными роботами, включая гуманоидов, с помощью одной модели. Во-вторых, навыки, освоенные на одном роботе, теперь можно переносить на другого».
Компания заявила, что Gemini Robotics-ER 1.5 доступна любому разработчику, желающему поэкспериментировать с моделью, через интерфейс программирования приложений Gemini в Google AI Studio. Разработчики могут ознакомиться с ресурсом и попробовать создать роботизированные приложения на базе ИИ.
