Стартап Figure.ai, занимающийся разработкой гуманоидных роботов объявил о партнёрстве с OpenAI всего 2 недели назад и уже выпустил демонстрационное видео — как робот реагирует на голосовые команды ( Speech-to-Speech Reasoning).
Роботу добавили слух (видимо при помощи Whisper) и возможность говорить. Теперь робот способен дать описание сцены, которую он видит, а ещё умеет рассуждать, что он может сделать. После выполнения действий, робот также способен объяснить, почему он их выполнил и дать им оценку.
Похоже, текущая парадигма роботов — «ChatGPT с актуаторами». Остаётся улучшить быстродействие моделей (пример — стартап groq), разобраться с аккумуляторами, улучшить механику самого робота и реализовать в роботе «планировщик», который будет разбивать сложные цели/команды на простые выполнимые задачи.
далее: Figure AI показал работу своего робота на заводе BMW
По теме
- Видео о разработке робота-андроида Figure
- 1X Technologies показала автономную работу своих роботов
- Boston Dynamics добавила ChatGPT своей робо-собаке Spot
- GenEM — генерация выразительного поведения роботов с помощью LLM
- Awesome-LLM-Robotics — список статей про использование больших языковых моделей в робототехнике
- Полина Федотова: AGI в робототехнике: прорыв с фундаментальными моделями
- Microsoft предложила использовать ChatGPT для управления роботами
- TidyBot — персонализированный робот-помощник на основе больших языковых моделей