Mistral (французский AI-стартап) представил модель Robostral Navigate (8 миллиардов параметров), предназначенную для навигации роботов.
На вход модель принимает данные с обычной RGB-камеры и текстовую инструкцию (например: «Выйди из холла, пройди по коридору, зайди в кладовую и остановись перед второй полкой»). На выходе модель генерирует действия, позволяющие роботу самостоятельно пройти заданный маршрут.
Главная особенность — отсутствие специальных датчиков. В современных роботах для навигации обычно используют лидары, камеры глубины или стереокамеры, а здесь — всего лишь одна RGB-камера.
Обучение модели проводилось полностью в симуляции, для чего использовались примерно 6000 виртуальных сцен и 400 тысяч траекторий.
Модель не привязана к конкретной платформе и может использоваться на роботах различного типа: колесных платформах, шагающих роботах и летающих дронах.
По данным Mistral, модель превосходит предыдущие решения для навигации с одной RGB-камерой и даже ряд систем, использующих более дорогое сенсорное оборудование. На бенчмарке R2R-CE (Room-to-Room in Continuous Environments) она достигает 76.6% (без предварительного обучения на целевой среде).
Когда и как можно будет получить доступ к весам модели, пока не сообщается.
Ссылки
По теме
- Google представил Gemini Robotics-ER 1.5
- Как большие языковые модели преобразуют управление роботами
- pi0 — фундаментальная модель для роботов от Physical Intelligence
- Yann LeCun предсказывает десятилетие робототехники и новую парадигму ИИ
- Полина Федотова: AGI в робототехнике: прорыв с фундаментальными моделями
- Awesome-LLM-Robotics — список статей про использование больших языковых моделей в робототехнике
- SLAM