Исследователи из Стэнфордского университета и Калифорнийского университета в Беркли представили свою разработку, которую назвали ALOHA (A Low-cost Open-source Hardware System for Bimanual Teleoperation) — недорогую аппаратную систему с открытым исходным кодом для бимануального телеуправления.

Решение задач манипулирования, которые требуются при выполнении «тонких действий» (продевание кабельных стяжек, установка батареек)  являются сложными для роботов, потому что требуют точности и тщательной координации визуальной обратной связи и контактных усилий. В настоящее время, для выполнения подобных задач требуются высокопроизводительные роботы, точные датчики и их тщательная калибровка. Исследователи решили ответить на вопрос: «Может ли обучение позволить дешёвому и неточному оборудованию выполнять эти тонкие манипуляционные задачи?» Для ответа на этот вопрос — они собрали систему (с бюджетом в $20k), которая выполняет сквозное имитационное обучение непосредственно на реальных демонстрациях, собранных с помощью пользовательского интерфейса телеуправления.

Сам стенд построен на 4 манипуляторах: два ViperX 300 Robot Arm 6DOF — используются именно как манипуляторы, а два  WidowX 250 Robot Arm 6DOF — используются как контроллеры в системе телеуправления.

Для преодоления накопления ошибки при имитационном обучении, был  разработан новый алгоритм ACT (Action Chunking with Transformers) —  «Разбиение действий на части с использованием Трансформеров», который использует Трансформеры для прогнозирования действий по частям.

Данный подход позволяет системе с 80-90% успехом изучить даже такие сложные задачи, как открытие полупрозрачного стаканчика для приправы или установка батарейки на 10-минутных демонстрационных данных.

далее: Mobile ALOHA — мобильный робот для сбора данных и обучения манипуляции

Статьи

1. Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware

Ссылки

• Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware
• Hardware Tutorial — руководство по сборке системы
• ALOHA: A Low-cost Open-source Hardware System for Bimanual Teleoperation
• ACT: Action Chunking with Transformers

По теме

• Метод ROSIE — «масштабирование обучения роботов с помощью семантически воображаемого опыта»
• Microsoft предложила использовать ChatGPT для управления роботами
• PaLM-E — мультимодальная языковая модель для управления роботами