Норвежская компания 1X Technologies показала автономную работу своих роботов в режиме реального времени.
Команда стремится добиться максимальной универсальности робота, поэтому для действий робота в среде, созданной для людей, роботу придаётся человекоподобная форма.
Что примечательно, все показанные действия робота-анроида EVE контролируются одной нейронной сетью в сквозном режиме. Получая на вход изображение с камеры робота, нейросеть генерирует действия (для управления движением, руками, захватом, туловищем и головой) с частотой 10 Гц.
Авторы утверждают, что на видео роботы работают полностью автономно (без дистанционного управления) и в режиме реального времени (на скорости 1X).
Чтобы достичь подобный результат, для обучения своей модели машинного обучения, был собран высококачественный разнообразный набор данных демонстраций 30 роботов EVE. Используя эти данные была обучена «базовая модель», которая понимает широкий спектр физического поведения: от чистки и уборки дома до сбора предметов и социального взаимодействия с людьми и другими роботами. Затем базовая модель была дообучена (fine tuning) на более конкретные возможности (например, одна модель — для общих манипуляций с дверьми, а другая — для складских задач), а затем дообучили уже эти модели на решение конкретных задач (например, открыть эту конкретную дверь). Подобная стратегия позволяет обучить робота новым навыкам всего за несколько минут сбора данных и обучения на графическом процессоре (GPU).
Ссылки
По теме
- Dobb·E — открытый проект по обучению робота выполнять домашние дела
- TidyBot — персонализированный робот-помощник на основе больших языковых моделей
- Awesome-LLM-Robotics — список статей про использование больших языковых моделей в робототехнике
- Microsoft предложила использовать ChatGPT для управления роботами
- Роботы Everyday Robots от Alphabet начали выполнять уборку в офисе Google
- Показали новую версию робота-андроида Optimus от Tesla