На ежегодной конференции GTC компания Nvidia анонсировала проект GR00T (Generalist Robot 00 Technology).
GR00T — это базовая (foundation) ИИ-модель общего назначения, предназначенная для обучения роботов. Модель принимает на вход мультимодальные данные (видео, инструкции и примеры взаимодействия) и возвращает действия, которые должен выполнить робот.
Таким образом, модель GR00T может обучаться имитировать действия, «наблюдая» за человеком.
Для тренировки роботов в симуляции, представлена обновлённая среда обучения — Isaac Lab, где роботы смогут тренироваться при помощи обучения с подкреплением.
Запускать модель можно будет на GPU Jetson Thor (800 TFlops в FP8), что позволит управлять роботом с минимальной задержкой.
Похоже, в этом году робототехнику ожидают интересные достижения (“GPT moment”), ведь развитие базовых ИИ-моделей для роботов приближает момент появления настоящих роботов общего назначения. А ещё, возможно, именно модели из робототехники смогут дать языковым моделям (LLM) те базовые знания из реального физического мира, которых им так не хватает.
Ссылки
По теме
- Isaac SDK — роботехнический фрейворк от NVIDIA
- NVIDIA добавила в свой фреймворк для роботов — Isaac SDK конвертер сообщений ROS
- NVIDIA открыла собственную лабораторию робототехники
- Figure.ai показали как их робот-андроид работает под управлением OpenAI
- Awesome-LLM-Robotics — список статей про использование больших языковых моделей в робототехнике
- Полина Федотова: AGI в робототехнике: прорыв с фундаментальными моделями
- Microsoft предложила использовать ChatGPT для управления роботами
- TidyBot — персонализированный робот-помощник на основе больших языковых моделей