Метод ROSIE — «масштабирование обучения роботов с помощью семантически воображаемого опыта»


Исследователи из Google Robotics представили метод ROSIE (Scaling RObot Learning with Semantically Imagined Experience — Масштабирование обучения роботов с помощью семантически воображаемого опыта), который состоит в использовании диффузионных моделей для увеличения числа данных, используемых для обучения роботов.

Важным препятствием, мешающим обучению роботов выполнению  различных манипуляционных задач и их обобщению на новые сценарии использования, является трудность получения больших наборов данных, используемых для обучения. Сейчас, подобный процесс требует активного участия человека, либо разработки сложных автономных систем сбора данных, масштабирование которых крайне затруднительно.

Метод ROSIE направлен на решение этой проблемы. Он состоит в использовании диффузионных моделей, преобразующих текстовое описание (prompt) в фотореалистичное изображение, которое уже можно использовать для обучения модели компьютерного зрения робота, без необходимости получения дополнительных данных. Фактически — метод состоит в продвинутой аугментации данных, когда поверх существующих наборов данных для роботизированных манипуляций, при помощи текстовых описаний генерируются различные объекты, происходит манипуляция фоном или отвлекающими  факторами.

Эксперименты демонстрируют, что данный метод позволяют решать задачи по манипуляции с новыми объектами, повышает надёжность и обобщение высокоуровневых задач обучения роботов.

Статьи

Ссылки

По теме


Добавить комментарий

Arduino

Что такое Arduino?
Зачем мне Arduino?
Начало работы с Arduino
Для начинающих ардуинщиков
Радиодетали (точка входа для начинающих ардуинщиков)
Первые шаги с Arduino

Разделы

  1. Преимуществ нет, за исключением читабельности: тип bool обычно имеет размер 1 байт, как и uint8_t. Думаю, компилятор в обоих случаях…

  2. Добрый день! Я недавно начал изучать программирование под STM32 и ваши уроки просто бесценны! Хотел узнать зачем использовать переменную типа…

3D-печать AI Android Arduino Bluetooth CraftDuino DIY IDE iRobot Kinect LEGO OpenCV Open Source Python Raspberry Pi RoboCraft ROS swarm ИК автоматизация андроид балансировать бионика версия видео военный датчик дрон интерфейс камера кибервесна манипулятор машинное обучение наше нейронная сеть подводный пылесос работа распознавание робот робототехника светодиод сервомашинка собака управление ходить шаг за шагом шаговый двигатель шилд юмор

OpenCV
Робототехника
Будущее за бионическими роботами?
Нейронная сеть - введение