Исследователи из Шанхайского университета транспорта (Shanghai Jiao Tong University) (Шанхай, Китай) представили RH20T — это крупнейший на сегодняшний день набор данных для обучения роботов различным навыкам.

Данные представляют собой видео и показания датчиков робота при выполнении различных задач в режиме телеуправления.

Для сбора данных использовалась специальная платформа, которая состояла из:

• роботизированной руки с захватом и силомоментным датчиком,
• 1-2 ручных камер,
• 8-10 глобальных RGBD-камер,
• 2 микрофонов,
• тактильного устройства и педалей — для оператора, который дистанционно управлял роботом.

Собрано около 110 000 последовательностей роботизированных манипуляций, что составляет более 40 миллионов кадров изображений для последовательностей роботизированных манипуляций и более 10 миллионов кадров для человеческих демонстраций. Каждая последовательность роботов содержит визуальную, тактильную, звуковую и проприоцептивную информацию.

Данные находятся в открытом доступе: rh20t.github.io и распространяются под несколькими лицензиями (поскольку частично финансировался компанией). Он разделен на две подгруппы: RH20T-C (коммерческий) и RH20T-NC (некоммерческий):

• подгруппа RH20T-C (эпизоды с названиями от «scene_0001» до «scene_0005») — распространяется по международной лицензии Creative Commons Attribution-ShareAlike 4.0 (CC BY-SA 4.0),
• подгруппа RH20T-NC (эпизоды с названиями от «scene_0006» до «scene_0010») — распространяется по некоммерческой лицензии Creative Commons Attribution 4.0 (CC BY-NC 4.0) — доступно для бесплатного некоммерческого использования. 

Коммерческое использование комплекта RH20T-NC или моделей, обученных на нём, не допускается.

Статьи

1. Fang H. S. et al. RH20T: A Robotic Dataset for Learning Diverse Skills in One-Shot //arXiv preprint arXiv:2307.00595. – 2023.

Ссылки

• RH20T: A Comprehensive Robotic Dataset for Learning Diverse Skills in One-Shot

По теме

• Масштабирование и дистилляция для обучения роботов низкоуровневым манипуляциям
• ALOHA — система для обучения тонкой бимануальной манипуляции
• Метод ROSIE — «масштабирование обучения роботов с помощью семантически воображаемого опыта»
• RoboCat — проект системы для управления роботами-манипуляторами от Google Deepmind
• PickGPT позволяет операторам управлять роботом командами на естественном языке
• TidyBot — персонализированный робот-помощник на основе больших языковых моделей
• Microsoft предложила использовать ChatGPT для управления роботами
• PaLM-E — мультимодальная языковая модель для управления роботами