Робот-манипулятор обыгрывает новичков в настольный теннис


Исследователи из Google DeepMind представили проект по разработке обучаемого робота, который способен достичь уровня человека-любителя в настольном теннисе.

В отличие от популярных сейчас сквозного (end-to-end) подхода или использования базовых робототехнических моделей,  авторы разбили игровой процесс на подзадачи, делегировали их отдельным модулям и организовали их совместную работу.

Для создания робота, установили манипулятор ABB  на два линейных портала, что позволяет робо-руке двигаться не только влево и вправо, но и вперёд и назад. Система восприятия робота состоит из 2 камер (Ximea MQ013CG-ON, работающих с частотой 125 Гц), которые снимают изображения мяча и передают в систему оценки положение мяча. Система  захвата движения (PhaseSpace motion capture) из 20 камер отслеживает положение ракетки противника.

Для управления роботом используется иерархическая и модульная архитектура, состоящая из контроллеров низкого уровня с подробными дескрипторами навыков, которые моделируют возможности агента и помогают преодолеть разрыв между симуляцией и реальностью, и контроллера высокого уровня, который выбирает навыки низкого уровня.

Робот управляется контроллером высокого уровня: настраиваемым алгоритмом, включающим свёрточную нейронную сеть (3-х слойная 1d полностью свёрточная сеть с 10676 параметрами), которая классифицирует, следует ли возвращать мяч с помощью удара справа или слева, и обычную полносвязную нейронную сеть (2 слоя — (128, 64)), которая классифицирует вращение. Контроллер высокого уровня выбирает среди 17 контроллеров низкого уровня (все свёрточные), каждый из которых реализует выполнение разных навыков (возвращать подачи или розыгрыши, подстраиваться под вращение мяча, нацеливаться на разные точки на столе и т. д.).

Несмотря на то, что робот проиграл все матчи против самых продвинутых игроков, он выиграл 100% матчей против новичков и 55% матчей против игроков среднего уровня, продемонстрировав тем самым производительность на уровне человека-любителя.

Статьи

  1. D’Ambrosio D. B. et al. Achieving Human Level Competitive Robot Table Tennis //arXiv preprint arXiv:2408.03906. – 2024.

Ссылки

По теме


Добавить комментарий

Arduino

Что такое Arduino?
Зачем мне Arduino?
Начало работы с Arduino
Для начинающих ардуинщиков
Радиодетали (точка входа для начинающих ардуинщиков)
Первые шаги с Arduino

Разделы

  1. Преимуществ нет, за исключением читабельности: тип bool обычно имеет размер 1 байт, как и uint8_t. Думаю, компилятор в обоих случаях…

  2. Добрый день! Я недавно начал изучать программирование под STM32 и ваши уроки просто бесценны! Хотел узнать зачем использовать переменную типа…

3D-печать AI Android Arduino Bluetooth CraftDuino DIY IDE iRobot Kinect LEGO OpenCV Open Source Python Raspberry Pi RoboCraft ROS swarm ИК автоматизация андроид балансировать бионика версия видео военный датчик дрон интерфейс камера кибервесна манипулятор машинное обучение наше нейронная сеть подводный пылесос работа распознавание робот робототехника светодиод сервомашинка собака управление ходить шаг за шагом шаговый двигатель шилд юмор

OpenCV
Робототехника
Будущее за бионическими роботами?
Нейронная сеть - введение