Agility Robotics показали как робот Digit умеет выполнять сложные задачи в полностью автономном режиме. В данном случае — брать продукты с полки и загружать в корзину для продуктов.
В основе, используется система контроля всего тела, которая была обучена в симуляции. Это позволяет Digit выполнять задачи, взаимодействую с новым окружением и манипулировать объектами, которых он раньше не видел.
Видео показывает последовательное представление «мыслей» робота в виде текстовых предложений. Похоже, что для управления роботом, используется либо VLM (vision-language model), либо сразу VLA (vision-language-action). Забавно, что ручки пластиковой корзины заранее подняты и скреплены изолентой — с текущей версией манипуляторов сам робот вряд ли смог бы их вытащить.
По теме
- Двуногого робота Digit обучили ходить используя только симуляцию
- Начинается тестирование робота Digit на складе Amazon
- Робот Digit использует LLM для интерпретации голосовых команд
- Jim Fan из NVIDIA о внедрении AI в роботов
- π0.5 — новая модель для роботов от Physical Intelligence
- Awesome-LLM-Robotics — список статей про использование больших языковых моделей в робототехнике
- ASIMOV Benchmark — тест на определение небезопасных действий
- Self-Discover — подход к использованию различных техник рассуждения для LLM