Исследователи из Google Robotics представили метод ROSIE (Scaling RObot Learning with Semantically Imagined Experience — Масштабирование обучения роботов с помощью семантически воображаемого опыта), который состоит в использовании диффузионных моделей для увеличения числа данных, используемых для обучения роботов.

Важным препятствием, мешающим обучению роботов выполнению  различных манипуляционных задач и их обобщению на новые сценарии использования, является трудность получения больших наборов данных, используемых для обучения. Сейчас, подобный процесс требует активного участия человека, либо разработки сложных автономных систем сбора данных, масштабирование которых крайне затруднительно.

Метод ROSIE направлен на решение этой проблемы. Он состоит в использовании диффузионных моделей, преобразующих текстовое описание (prompt) в фотореалистичное изображение, которое уже можно использовать для обучения модели компьютерного зрения робота, без необходимости получения дополнительных данных. Фактически — метод состоит в продвинутой аугментации данных, когда поверх существующих наборов данных для роботизированных манипуляций, при помощи текстовых описаний генерируются различные объекты, происходит манипуляция фоном или отвлекающими  факторами.

Эксперименты демонстрируют, что данный метод позволяют решать задачи по манипуляции с новыми объектами, повышает надёжность и обобщение высокоуровневых задач обучения роботов.

Статьи

• Scaling Robot Learning with Semantically Imagined Experience

Ссылки

• https://diffusion-rosie.github.io

По теме

• PaLM-SayCan — метод с помощью которого Google обучила роботов Everyday Robots реагировать на сложные запросы
• В Google использовали генеративные модели для автоматического программирования роботов на Python
• SayCan — метод использования языковых моделей для управления действиями робота
• Microsoft предложила использовать ChatGPT для управления роботами