-
PaLM-E — мультимодальная языковая модель для управления роботами
Сила больших языковых моделей (large language model (LLM)) уже очевидна. Исследовали из Google показали как можно применять LLM в робототехнике: они включили сенсорные данные в запрос для языковой модели, что позволило модели устанавливать связь между словами и сенсорной информацией.
-
Метод ROSIE — «масштабирование обучения роботов с помощью семантически воображаемого опыта»
Исследователи из Google Robotics представили метод ROSIE (Scaling RObot Learning with Semantically Imagined Experience — Масштабирование обучения роботов с помощью семантически воображаемого опыта), который состоит в использовании диффузионных моделей для увеличения числа данных, используемых для обучения роботов.
-
Microsoft предложила использовать ChatGPT для управления роботами
Исследователи из Microsoft показали как можно использовать мощь ChatGPT для интуитивного управления роботами при помощи естественных языковых команд. В качестве примера показано управление роботом-манипулятором, дроном и домашним роботом-помощником.
-
Google представила проект, демонстрирующий управление роботом в реальном времени
Исследователи из Google Robotics представили проект Интерактивный язык, который демонстрирует управление роботом в реальном времени при помощи команд на естественном языке.
-
Вышел OpenDR toolkit v2.0.0
Две недели назад был выпущен Open Deep Learning Toolkit for Robotics (OpenDR Project) v.2.0.0.
-
Робот-манипулятор обучили решать более сложные задачи по захвату объектов при помощи внешней среды
Обычный робот-манипулятор можно научить выполнять сложные задачи по захвату объектов, если обучить его использованию внешней среды в качестве вспомогательного «инструмента».
-
Gesture2Vec — система подстраивает жесты робота под речь
На международной ежегодной выставке в области робототехники — IROS 2022 (International Conference on Intelligent Robots and Systems), которая в этом году проходила с 23 по 27 октября в Киото были представлены самые разные исследования в области робототехники. В направлении когнитивной робототехники лучшей стала работа про подстройку жестов робота под речь (Gesture2Vec).
-
В Google использовали генеративные модели для автоматического программирования роботов на Python
Исследователи из Google Robotics представили способ управления роботами путём конвертации команд пользователя на естественном языке в код на языке программирования Python.
-
Робота научили лучше двигаться среди людей, используя их в качестве «датчиков»
Инженеры из университетов Иллинойса и Стэнфорда (США) использовали метод обучения с подкреплением, чтобы улучшить возможности мобильных роботов по ориентации и передвижению среди людей.
-
PaLM-SayCan — метод с помощью которого Google обучила роботов Everyday Robots реагировать на сложные запросы
Развивая метод SayCan, в компании Google разработали метод PaLM-SayCan, который позволяет роботам Everyday Robots выполнять задания, выраженные на естественном языке.
Преимуществ нет, за исключением читабельности: тип bool обычно имеет размер 1 байт, как и uint8_t. Думаю, компилятор в обоих случаях…