-
PaLM-E — мультимодальная языковая модель для управления роботами
Сила больших языковых моделей (large language model (LLM)) уже очевидна. Исследовали из Google показали как можно применять LLM в робототехнике: они включили сенсорные данные в запрос для языковой модели, что позволило модели устанавливать связь между словами и сенсорной информацией.
-
Метод ROSIE — «масштабирование обучения роботов с помощью семантически воображаемого опыта»
Исследователи из Google Robotics представили метод ROSIE (Scaling RObot Learning with Semantically Imagined Experience — Масштабирование обучения роботов с помощью семантически воображаемого опыта), который состоит в использовании диффузионных моделей для увеличения числа данных, используемых для обучения роботов.
-
Microsoft предложила использовать ChatGPT для управления роботами
Исследователи из Microsoft показали как можно использовать мощь ChatGPT для интуитивного управления роботами при помощи естественных языковых команд. В качестве примера показано управление роботом-манипулятором, дроном и домашним роботом-помощником.
-
Четвероногого робота научили ходить используя данные с камеры
Исследователи из университетов Карнеги — Меллона и Беркли (США) научили четвероногого робота-собаку ходить используя данные с камеры.
-
Применение ИИ для генерации идей новых роботов
James Bruton показал как можно использовать изображения, сгенерированные нейросетями для создания чего-нибудь нового и необычного.
-
В Google использовали генеративные модели для автоматического программирования роботов на Python
Исследователи из Google Robotics представили способ управления роботами путём конвертации команд пользователя на естественном языке в код на языке программирования Python.
-
PaLM-SayCan — метод с помощью которого Google обучила роботов Everyday Robots реагировать на сложные запросы
Развивая метод SayCan, в компании Google разработали метод PaLM-SayCan, который позволяет роботам Everyday Robots выполнять задания, выраженные на естественном языке.
-
Робот-манипулятор строит собственную кинематическую модель
Исследователи из Колумбийского университета (Нью-Йорк, США) разработали алгоритм, позволяющий роботу-манипулятору построить собственную кинематическую модель, которая затем может использоваться для управления его движениями.
-
Нейросеть Gato от Deepmind способна выполнять более 600 задач
Компания Deepmind показала свою новую нейросеть Gato, которая способна выполнять более 600 задач: умеет разговаривать, играть в игры и управлять роботом.
-
MicroFlow — библиотека для запуска TensorFlow-моделей на Arduino
MicroFlow — библиотека Arduino, которая позволяет обучить TensorFlow-модель на компьютере, а потом запустить её даже на самых простых контроллерах Arduino.
Преимуществ нет, за исключением читабельности: тип bool обычно имеет размер 1 байт, как и uint8_t. Думаю, компилятор в обоих случаях…