NVIDIA представила программу SOMA Retargeter для переноса человеческих движений на гуманоидных роботов

В SOMA Retargeter версии 0.2 доступны образцы движений и конфигурации для пяти платформ робтов: Unitree G1, Unitree H2, Booster T1, AgiBot X2 Ultra и AgiBot A3T3. Инструмент превращает записанную человеческую анимацию в последовательность положений суставов робота, которую разработчики затем могут использовать при обучении систем управления. Один и тот же жест нельзя напрямую перенести на машины разной конструкции. У роботов различаются длина рук и ног, число и расположение суставов, предельные углы поворота, поэтому программа сначала приводит движения человека к стандартному цифровому скелету SOMA, а затем пересчитывает траектории с учётом геометрии конкретного устройства. В исходных данных используются файлы формата BVH (BioVision Hierarchy), которые хранят положение скелета и изменение поз по кадрам.
«Робот не может просто скопировать движения человеческих суставов. У него другие пропорции тела, конструкция суставов и диапазоны подвижности», — сообщил Джон Маласка (John Malaska), старший менеджер по продуктам NVIDIA, отвечающий за генерацию и перенос движений в робототехнике и анимации.
В основе SOMA Retargeter — метод обратной кинематики (inverse kinematics, IK). Система получает целевые положения частей тела и рассчитывает, какие углы должны принять суставы робота, чтобы приблизиться к положению частей тела человека. Для вычислений используется физико-математический движок Newton, построенный с использованием фреймворка NVIDIA Warp. Результат корректируется с учётом допустимых положений суставов, устойчивых контактов с опорой и геометрии робота. На выходе получается CSV-файл, содержащий положение и ориентацию корпуса, а также значения углов задействованных суставов для каждого кадра. Чтобы робот мог воспроизводить траекторию движений с учётом собственного равновесия, инерции и состояния приводов, его контроллер обучается отдельно, а движения проверяются в физической симуляции.
Компания NVIDIA показала процесс на примере ходьбы человека, перенесённой на робота Unitree G1. В специальной программе-просмотровщике разработчик загружает анимацию, выбирает конфигурацию G1 и запускает пересчёт. На экране человеческая и роботизированная модели выполняют схожую последовательность шагов. Пропорции и положение суставов у них различаются, а результат можно сравнить с эталонными файлами из открытого репозитория. В другом примере использовали робота Booster T1. При несовпадении исходных поз робот пытался воспроизвести махание одной рукой, держа обе руки разведёнными в стороны. После корректировки базовой позы одна рука поднималась для приветствия, а другая оставалась опущенной. Для настройки соответствия исходного эталонного скелета SOMA и скелета конкретного робота предусмотрена утилита Robot Configurator: в ней можно менять масштаб, исходные положения и связи между частями тела.
Ещё одна проблема возникает при ходьбе: в анимации стопа может проскальзывать по полу в тот момент, когда должна оставаться неподвижной. Программа SOMA Retargeter содержит функцию foot-plant correction, корректирующую движение во время контакта с опорой. Если робот физически не может одновременно повторить все заданные положения, то числовые веса IK weights (веса обратной кинематики) позволяют распределять приоритеты между разными частями тела. Поскольку пропорции и степени свободы гуманоидного робота отличаются от человеческих, то невозможно идеально повторить положение и поворот всех суставов одновременно. Веса задают компромисс, указывая какими частями тела можно пожертвовать ради точности других. Источниками движения служат записи системы motion capture, набор данных BONES-SEED и видео. Инструмент GEM-X восстанавливает трёхмерное движение человека по обычному видеоролику, а модели Kimodo и ARDY могут генерировать новые последовательности по тексту и ограничениям позы. Благодаря общему скелету SOMA полученные данные проходят одинаковую процедуру адаптации к механике робота.
Исходный код SOMA Retargeter размещён на GitHub под лицензией Apache 2.0, а примеры движений и модели роботов распространяются на отдельных условиях. Репозиторий содержит десять исходных анимаций, результаты пересчёта для пяти платформ роботов и инструкции по настройке. Компания NVIDIA отмечает, что проект находится в активной бета-версии, и прежде чем переносить созданные траектории на настоящее оборудование, необходимо проверить устойчивость, ограничения приводов и безопасность в симуляции.



