NVIDIA представила ИИ для точных манипуляций и обучения роботов
Анонс состоялся на конференции Conference on Robot Learning (CoRL) в Остине. Вместе с моделью компания показала инструменты обучения в симуляции Isaac Lab 3.0, физический движок Newton и новые способы оценки роботизированных систем.
Главная особенность ИИ GR00T 2 — архитектура World Action Model (WAM), или модель мира и действий. Обычная система управления предсказывает следующую команду для манипулятора, а WAM одновременно прогнозирует будущие видеокадры и действия робота. Таким образом модель учится не только выбирать движение, но и представлять, как изменится окружающая сцена после контакта с предметом. Поколение ИИ моделей GR00T 2 построено на технологиях NVIDIA Cosmos и может использоваться с параллельными захватами, многопальцевыми роботизированными руками и гуманоидными платформами.
Для предварительного обучения NVIDIA использовала разнообразные записи работы роботов и данные о действиях людей, включая 100 тысяч часов видеозаписей от первого лица. Такая запись показывает мир так, как его видит выполняющий операцию человек. Затем систему можно адаптировать к конкретной машине с помощью короткой демонстрации нужного навыка.
В испытаниях на 50 задачах GR00T 2 после одной демонстрации показала в среднем 71% успешных выполнений. После пяти демонстраций показатель вырос до 95%. Отдельная исследовательская публикация уточняет: для одного из сценариев использовалось менее трёх минут данных робота и около получаса дообучения на видеокарте RTX 5090. Без демонстраций модель справилась с 40% попыток в задачах, которых не видела на целевой роботизированной платформе.
Компания также приводит примеры переноса навыков между устройствами. Робот с двумя пятипалыми руками, получивший только видеопример от человека, сумел установить фильтровальную бумагу в лабораторную воронку и смочить её в 65% испытаний. Другой манипулятор после показа работы ручным захватом собрал игрушечный самосвал в 60% попыток. Система с двумя многосуставными руками также устанавливала модули памяти GB300 и выполняла операции, требующие точного контакта.
При подключении языковой модели рассуждений GR00T 2 может выполнять последовательности действий и исправлять ошибки. В одном эксперименте манипулятор с таким управлением успешно завершал не менее 97 сборок из 100 для каждой из трёх игрушек. Облегчённый вариант GR00T 2 Turbo рассчитан на выполнение вычислений непосредственно на роботе: на гуманоиде Unitree G1 с Jetson Thor один шаг прогноза занимает 124 миллисекунды.
Важная часть анонса — среда Isaac Lab 3.0, предназначенная для обучения виртуальных роботов. В то же время поддержка движка Newton позволяет моделировать деформацию ткани, кабелей и других предметов. В одном из проведенных тестов сочетание среды Isaac Lab 3.0 и движка Newton обеспечило до 2,5 раза большую производительность обучения по сравнению с Isaac Lab 2.3 и PhysX. Для проверки устойчивости навыков предусмотрены открытые наборы тестов DexBench и VABAR.
«Для меня агентная робототехника — самое захватывающее технологическое развитие со времён интернета 1995 года», — заявил Кен Голдберг, профессор робототехники Калифорнийского университета в Беркли. «Последняя система позволяет ИИ-агентам связывать отдельные действия в понятные инженерам программы, проверять их в симуляции и пересматривать после неудач».
NVIDIA сообщает, что компания Foxconn уже применяет GR00T 2 в проектах автоматизации производства серверов, компания Siemens оценивает технологию для промышленности, а Nexuni испытывает её на операциях с бельём. Исследовательский код GR00T 2 намечен к публикации в декабре 2026 года.
