Исследователи из Массачусетского института научили четвероногого робота играть в футбол
Четвероногий робот по имени DribbleBot может маневрировать с футбольным мячом на таких ландшафтах, как песок, гравий, грязь и снег, а также подниматься и подбирать мяч после падения.
Чтобы научить робота управлять ногами во время дриблинга, команда использовала симуляцию. Благодаря ей робот смог достичь сложных навыков реагирования на различные ландшафты намного быстрее, чем если бы обучение проходило в реальном мире.
Так как команда загрузила необходимые физические параметры робота в программу симуляции, то она смогла параллельно в режиме реального времени моделировать 4000 версий четвероногих роботов, собирая данные в 4000 раз быстрее, чем при использовании только одного робота.
DribbleBot начал с того, что вообще не знал, как вести мяч. Команда обучала его, поощряя, когда он хорошо ведет мяч, или высказывая неодобрение, когда он ошибается. Используя этот метод, робот смог научился определять, какую последовательность сил он должен прикладывать к мячу при помощи своих ног.
«Одним из аспектов этого подхода к обучению с подкреплением является то, что мы должны были разработать хорошее вознаграждение, чтобы облегчить роботу обучение успешному поведению при дриблинге», - сказал аспирант Массачусетского технологического института Гейб Марголис. «Как только мы разработали эту награду, для робота настало время тренировок. В реальном времени прошло пару дней, а в симуляторе - сотни дней. Со временем он все лучше и лучше учится управлять футбольным мячом, чтобы достичь желаемой скорости».
С помощью встроенного в систему контроллера восстановления, команда научила четвероногого справляться с незнакомой местностью и подниматься после падений. Однако дриблинг на разных участках по-прежнему представляет гораздо больше сложностей, чем просто ходьба.
Робот должен адаптировать свое движение, чтобы прикладывать правильные силы для ведения мяча, и приспосабливаться к тому, как мяч взаимодействует с ландшафтом. Например, футбольный мяч по-разному катится в густой траве, на тротуаре или по снегу. Чтобы справиться с этим, команда Массачусетского технологического института использовала камеры, установленные на голове и теле робота, которые дают ему возможность «видеть».
Хотя робот может вести дриблинг на многих участках местности, его контроллер в настоящее время не обучен работе в таких условиях, как склоны или лестницы. Четвероногий не может воспринимать геометрию местности, он просто оценивает контактные свойства материала (например, трение), поэтому склоны и лестницы станут следующей задачей, которую предстоит решить команде исследователей.
