Полина Федотова (главный инженер-разработчик в Sber Robotics Lab) на YaTalks 2023 рассказала как используются Фундаментальные модели (Foundation Models) в робототехнике.
В своём докладе Полина Федотова рассказывает, как можно использовать Фундаментальные модели (большие нейросетевые модели, которые обучаются на большом количестве разнообразных данных, что позволяет применять их для решения широкого диапазона задач) в робототехнике:
- изменения архитектуры управляющего программного обеспечения,
- сбор робототехнических данных для обучения (использование ферм роботов, сбор данных из обучающих видео в интернете).
Ссылки
По теме
- Dobb·E — открытый проект по обучению робота выполнять домашние дела
- Awesome-LLM-Robotics — список статей про использование больших языковых моделей в робототехнике
- TidyBot — персонализированный робот-помощник на основе больших языковых моделей
- Google DeepMind представила набор данных Open X-Embodiment dataset и новые модели RT-X, предназначенные для освоения роботами новых навыков
- RoboCat — проект системы для управления роботами-манипуляторами от Google Deepmind
- Нейросеть Gato от Deepmind способна выполнять более 600 задач
- PaLM-E — мультимодальная языковая модель для управления роботами
- RH20T — набор данных для обучения роботов различным навыкам