Исследовали из Лаборатории невероятного искусственного интеллекта (Improbable Artificial Intelligence Lab) Массачусетского технологического института научили четвероногого робота-собаку Unitree Go1 вести футбольный мяч.

Проект DribbleBot (Dexterous Ball Manipulation with a
Legged Robot — Ловкие манипуляции с мячом
робота с ногами) демонстрирует способность робота-собаки вести футбольный мяч на разных поверхностях и ландшафтах (песок, гравий, снег, грязь), адаптируя своё воздействие на движение мяча.

Чтобы научить робота управлять ногами для ведения мяча (дриблинга)  использовалась система симуляции и обучение с подкреплением. Для учёта переменной динамики движения мяча используются камеры, встроенные в тело робота.

Для вычислений используются два модуля NVIDIA Jetson Xavier NX, расположенные на борту робота.

Для детектирования мяча на видео используется нейронная сеть архитектуры YOLOv7 (была взята модель предобученная на датасете COCO и дообученная на 254 изображениях футбольного мяча, полученных с fisheye-камер робота (включая мяч на краю изображения)). При обучении использовались стандартные аугментации; в том числе, горизонтальное отражение, повороты до 15° и размытие.

Для ускорения инференса моделей используется TensorRT, что позволяет обрабатывать изображения с разрешением 400×480 пикселей на частоте 30 Гц.

Исследование проводится при поддержке программы DARPA Machine Common Sense Program, Лабораторией искусственного интеллекта MIT-IBM Watson AI Lab, Институтом искусственного интеллекта и фундаментальных взаимодействий Национального научного фонда (National Science Foundation Institute of Artificial Intelligence and Fundamental Interactions), Исследовательской лабораторией ВВС США (U.S. Air Force Research Laboratory) и Акселератором искусственного интеллекта ВВС США (U.S. Air Force Artificial Intelligence Accelerator).

Статьи

1. Ji Y., Margolis G. B., Agrawal P. DribbleBot: Dynamic Legged Manipulation in the Wild //arXiv preprint arXiv:2304.01159. – 2023.

Ссылки

• DribbleBot: Dynamic Legged Manipulation in the Wild
• A four-legged robotic system for playing soccer on various terrains

По теме

• Робот-собака учится передвижению по сложной местности при помощи обучения с подкреплением
• Обучение четвероногого робота ходьбе при помощи тренировки нейронной сети в симуляции
• Microsoft предложила использовать ChatGPT для управления роботами