Исследователи с факультета компьютерных наук Нью-Йоркского университета представили Dobb·E — открытый проект по обучению робота выполнению повседневных домашних дел.
Основная цель исследования — построение «бытового помощника», который сможет адаптироваться и учиться на потребностях, оставаясь при этом экономически эффективным.
Проект Dobb·E — предлагает универсальную систему для обучения робота домашним манипуляциям. Авторы отмечают, что Dobb·E может выучить новое задание всего за пять минут. Для этого — пользователь показывает роботу, как это нужно сделать, благодаря демонстрационному инструменту «The Stick».
Этакая самодельная палка-хваталка, собираемая из алюминиевого профиля, нескольких напечатанных на 3D-принтере деталей и смартфона с 3d-камерой (iPhone 12+ pro):
Исследователи использовали Stick для сбора 13 часов данных в 22 различных домах Нью-Йорка (216 локаций, 5620 траекторий, 1.5 миллиона кадров).
Набор данных Homes of New York (HoNY) содержит видео RGB и кадры глубины с частотой 30 кадров в секунду, а также полные аннотации к действию для 6D-позы захвата, а также угол открытия захвата, нормированный между (0, 1).
На полученных данных была обучена нейросетевая модель — Домашние предварительно обученные представления (Home Pretrained Representations (HPR)).
HPR — это модель ResNet-34, обученная на наборе данных HoNY с использованием цели самостоятельного обучения MoCo-v3.
Для развертывания, используется предварительно обученная модель ResNet-34, за которой следуют два линейных слоя.
Модель доступна на Hugging Face (через Pytorch Image Models (TIMM)): https://huggingface.co/notmahi/dobb-e.
В новой домашней обстановке, с пятью минутами демонстраций и пятнадцатью минутами адаптации модели HPR, Dobb·E может надежно решать задачи (уровень успеха — 81%) на роботе Stretch (от стартапа Hello robot).
Простой и оригинальный подход по сбору данных и открытый исходный код, нацелены на ускорение исследований домашних роботов и, в конечном итоге, создание настоящих роботов-дворецких.
далее: Mobile ALOHA — мобильный робот для сбора данных и обучения манипуляции
Статьи
- Shafiullah N. M. M. et al. On Bringing Robots Home //arXiv preprint arXiv:2311.16098. – 2023.
Ссылки
По теме
- Stretch — исследовательский робот-платформа для дома
- TidyBot — персонализированный робот-помощник на основе больших языковых моделей
- Google DeepMind представила набор данных Open X-Embodiment dataset и новые модели RT-X, предназначенные для освоения роботами новых навыков
- RoboCat — проект системы для управления роботами-манипуляторами от Google Deepmind
- Нейросеть Gato от Deepmind способна выполнять более 600 задач
- PaLM-E — мультимодальная языковая модель для управления роботами
- RH20T — набор данных для обучения роботов различным навыкам