Исследователи из Google DeepMind показали проект RoboCat, который представляет собой самообущающуюся ИИ-систему для управления роботами-манипуляторами.

Сила больших языковых моделей (large language model (LLM))  уже очевидна. Исследовали из Google показали как можно применять LLM в робототехнике: они включили сенсорные данные в запрос для языковой модели, что позволило модели устанавливать связь между словами и сенсорной информацией.

Исследователи из Google Robotics представили метод ROSIE (Scaling RObot Learning with Semantically Imagined Experience — Масштабирование обучения роботов с помощью семантически воображаемого опыта), который состоит в использовании диффузионных моделей для увеличения числа данных, используемых для обучения роботов.

Развивая метод SayCan, в компании Google разработали метод PaLM-SayCan, который позволяет роботам  Everyday Robots выполнять задания, выраженные на естественном языке.

Интересный подход к использованию больших языковых моделей (вроде GPT-3) в робототехнике, показали в робототехническом подразделении Google, управляя мобильным роботом-манипулятором Everyday Robots при помощи команд на естественном языке.