Исследователи из Колумбийского университета (США) и Google DeepMind представили свой проект по использованию масштабирования и дистилляции для обучения роботов низкоуровневым манипуляциям.

Авторы предложили процедуру для обучения робота навыкам манипуляции, используя эффективное масштабирование генерации данных. Для масштабирования данных используется большая языковая модель (БЯМ, LLM), которая управляет высокоуровневым планированием и планировщиками движений робота, для создания разнообразных выборок траекторий манипулирования.

Контролируя успех выполнения каждой задачи манипулирования, процесс сбора данных может обнаруживать неудачу, что позволяет автоматически маркировать траектории как успешные или неудачные.

Авторы считают, что подобный подход к обучения роботов позволит поставить робототехнику на ту же тенденцию масштабирования, что и  БЯМ.

далее: GenSim — создание данных для обучения роботов при помощи больших языковых моделей

Статьи

1. Ha H., Florence P., Song S. Scaling Up and Distilling Down: Language-Guided Robot Skill Acquisition //arXiv preprint arXiv:2307.14535. – 2023.

Ссылки

• Scaling Up and Distilling Down: Language-Guided Robot Skill Acquisition
• scalingup — data generation and training code

По теме

• ALOHA — система для обучения тонкой бимануальной манипуляции
• Метод ROSIE — «масштабирование обучения роботов с помощью семантически воображаемого опыта»
• RoboCat — проект системы для управления роботами-манипуляторами от Google Deepmind
• PickGPT позволяет операторам управлять роботом командами на естественном языке
• TidyBot — персонализированный робот-помощник на основе больших языковых моделей
• Microsoft предложила использовать ChatGPT для управления роботами
• PaLM-E — мультимодальная языковая модель для управления роботами