Проекты по сбору данных и обучения роботов различной манипуляции через имитацию набирают обороты: исследователи из Стэнфордского университета представили проект Mobile ALOHA.
Mobile ALOHA — это недорогая ($32 тысячи) система дистанционного управления роботом, предназначенная для сбора данных. Она дополняет систему ALOHA мобильной базой и интерфейсом дистанционного управления. Используя данные, собранные с помощью Mobile ALOHA, можно выполнить контролируемое клонирование поведения (совместное обучение с существующими статическими наборами данных ALOHA повышает производительность при выполнении задач мобильного манипулирования).
Для обучения системы до 90% успеха достаточно всего 50 демонстраций (под этим понимается определённая последовательность действий, которую осуществляет оператор-человек при помощи специальных контроллеров).
Подобный подход позволил научить Mobile ALOHA автономно выполнять такие сложные мобильные манипуляционные задачи как: обжаривание и подача креветки, открытие двухдверного настенного шкафа для хранения кастрюли, вызов лифта и вход в него, а также легкое ополаскивание грязной сковородки из кухонного крана.
В автономном режиме робот управляется нейросеткой с ноутбука с GPU Nvidia 3070 Ti (8GB VRAM) и CPU Intel i7-12800H, а питается всё хозяйство робота от аккумулятора на 1.26 кВт весом 14 кг (расположен в основании робота (всего весит аж целых 75 кг)).
Ноутбук обрабатывает видеопоток с трёх вебкамер Logitech C922x, получая цветные кадры разрешением 480×640 с частотой 50 Гц (две камеры крепятся на запястьях ведомых манипуляторов, а третья просто смотрит вперёд) и данные проприоцепции со всех четырёх рук через
последовательные порты USB, а от мобильной базы Tracer через CAN-шину.
В качестве действий, записываются линейная и угловая скорости мобильной базы, совместные позиции всех 4 роботов-манипуляторов.
Гибкости систем робота достаточно, чтобы в режиме телеуправления через робота можно было и еду приготовить:
и домашние дела выполнить:
По сравнению с палкой-хваталкой проекта Dobb·E, представленная система сбора данных сложнее и тяжелее, но и демонстрации выглядят более впечатляюще.
Статьи
- Fu Z., Zhao T. Z., Finn C. Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation //arXiv preprint arXiv:2401.02117. – 2024.
Ссылки
По теме