Google DeepMind представила набор данных Open X-Embodiment dataset и новые модели RT-X, предназначенные для освоения роботами новых навыков


Компания Google DeepMind совместно с 33-мя академическими лабораториями собрали крупнейший набор данных Open X-Embodiment dataset.

Данные представляют собой более 1 миллиона траекторий от 22 различных роботов (от одноруких роботов-манипуляторов до двуручных  и даже четвероногих роботов), реализующих 527 навыков (160266 задач).

Фактически, набор данных Open X-Embodiment был построен путем объединения 60 существующих наборов данных роботов из 33 робототехнических исследовательских лабораторий по всему миру, путём преобразования их в единый формат данных для удобной загрузки и применения. Используется формат данных RLDS, который сохраняет данные в сериализованных файлах tfrecord.

Так же была показана работа моделей RT-X, которые представляет собой модели, созданные на основе двух предыдущих моделей робототехнических трансформеров: RT-1 (35M) и RT-2 (семейство моделей).
Обученная на данных Open X-Embodiment, RT-1-X превосходит исходную модель RT-1 в среднем на 50%, а модель RT-2-X (55B) оказалась в три раза успешнее модели RT-2 в отношении новых навыков.

Данные результаты показывают, что совместное обучение на данных с других платформ наделяет RT-2-X дополнительными навыками, которых не было в исходном наборе данных RT-2, что позволяет роботу выполнять новые задачи (но только при использовании архитектуры модели достаточно высокой ёмкости).

Фактически, появление данного набора данных обещает существенный прорыв в обучении роботов различным манипуляциям, как появление ImageNet обеспечило прорыв применения методов глубокого обучения в области компьютерного зрения и распознавания изображений.

Статьи

  1. Padalkar A. et al. Open X-Embodiment: Robotic Learning Datasets and RT-X Models //arXiv preprint arXiv:2310.08864. – 2023.

Ссылки

По теме


Добавить комментарий

Arduino

Что такое Arduino?
Зачем мне Arduino?
Начало работы с Arduino
Для начинающих ардуинщиков
Радиодетали (точка входа для начинающих ардуинщиков)
Первые шаги с Arduino

Разделы

  1. Преимуществ нет, за исключением читабельности: тип bool обычно имеет размер 1 байт, как и uint8_t. Думаю, компилятор в обоих случаях…

  2. Добрый день! Я недавно начал изучать программирование под STM32 и ваши уроки просто бесценны! Хотел узнать зачем использовать переменную типа…

3D-печать AI Android Arduino Bluetooth CraftDuino DIY IDE iRobot Kinect LEGO OpenCV Open Source Python Raspberry Pi RoboCraft ROS swarm ИК автоматизация андроид балансировать бионика версия видео военный датчик дрон интерфейс камера кибервесна манипулятор машинное обучение наше нейронная сеть подводный пылесос работа распознавание робот робототехника светодиод сервомашинка собака управление ходить шаг за шагом шаговый двигатель шилд юмор

OpenCV
Робототехника
Будущее за бионическими роботами?
Нейронная сеть - введение