Nvidia анонсировала новые инструменты обучения и моделирования искусственного интеллекта роботов
Компания анонсировала новые инструменты на ежегодной конференции по обучению робототехнике, которая проходит в Мюнхене, Германия и посвящена взаимодействию робототехники и машинного обучения. Новые инструменты Nvidia включают фреймворк для обучения роботов Isaac Lab, а также шесть новых рабочих процессов для обучения гуманоидных роботов с ИИ под общим названием Project GR00T.
Isaac Lab — это среда обучения роботов с открытым исходным кодом, созданная на основе Omniverse — платформы моделирования цифровых двойников в реальном времени, которая позволяет разработчикам тестировать и запускать роботов в виртуальных мирах. Также Omniverse позволяет создавать реалистичные 3D-модели и сцены заводов, городов и других пространств. Это делает платформу мощным инструментом для моделирования виртуальных сред для обучения роботов.
Разработчики могут использовать Isaac Lab для обучения роботов и масштабной корректировки политик, а также для понимания производительности и безопасности. Среда обучения применима к любым фреймворкам и вариантам роботов, включая роботов-манипуляторов, гуманоидов, четвероногих роботов и проч.
В Nvidia заявили, что многие коммерческие производители роботов и исследовательские группы по всему миру внедрили Isaac Lab в свои рабочие процессы, включая такие компании, как Agility Robots, Boston Dynamics, 1X, Galbot, Fourier, Mentee Robotics и Berkeley Humanoid.
Project GR00T, в свою очередь, это инициатива компании Nvidia, которая предоставляет разработчикам базовые модели искусственного интеллекта для гуманоидных роботов общего назначения, библиотеки программного обеспечения и конвейеры данных, помогающие разработчикам быстрее создавать прототипы и разрабатывать продукты.
Стремясь помочь разработчикам в создании продвинутых гуманоидов, Nvidia анонсировала шесть новых схем рабочего процесса Project GR00T, которые помогут им встроить новые возможности в своих роботов:
- GR00T-Gen позволяет разработчикам создавать реалистичные смоделированные среды для обучения роботов передвижению, манипулированию объектами и выполнению других задач.
- GR00T-Mimic позволяет роботам учиться у людей. Используя этот рабочий процесс, люди могут управлять роботами и выполнять различные действия, например, ходить по складу, доставать коробки с полок и ставить их на тележки. Идея состоит в том, чтобы позволить роботу имитировать те же действия в той же среде.
- GR00T-Dexterity и GR00T-Control предоставляют набор моделей и политик управления телом роботов и мелких манипуляции, требующих ловкости. Разработчики смогут научить роботов, имеющих приводы и костяшки пальцев, справляться с пропущенными захватами, а также регулировать у них силу захвата и другие движения.
- GR00T-Mobility предоставляет разработчикам набор моделей, помогающих гуманоидным роботам ходить и обходить препятствия. Mobility разработана таким образом, чтобы обеспечить основанный на обучении подход, который можно быстро применить к новым средам.
- Наконец, GR00T-Perception добавляет расширенные библиотеки программного обеспечения и базовые модели для взаимодействия человека и робота, которые помогают роботам «запоминать» длинные истории событий.
