-
Исследователи использовали ChatGPT для разработки робота, собирающего помидоры
Исследователи из технических университетов Delft (Нидерланды) и EPFL (Швейцария) показали, как можно использовать большие языковые модели (БЯМ, LLM), такие как ChatGPT, в процессе проектирования роботов. В своей статье они описывают, как использовали ChatGPT для разработки робота-сборщика помидоров.
-
Робот Digit использует LLM для интерпретации голосовых команд
Agility Robotics продемонстрировала, как робот Digit получает голосовую команду «убрать этот беспорядок» и далее используя большую языковую модель (БЯМ (LLM)) интерпретирует, что ему требуется сделать.
-
TidyBot — персонализированный робот-помощник на основе больших языковых моделей
Исследователи из Принстонского университета (США) представили TidyBot — проект персонализированного робота-помощника, который использует возможности больших языковых моделей (БЯМ, LLM) по суммаризации текстов (процесс вычленения сути (краткого содержания) текста) для вывода обобщенных пользовательских предпочтений. Используемый подход обеспечивает быструю адаптацию и обеспечивает точность 91.2% на тестовых данных.
-
ROSGPT — демонстрация использования ChatGPT для управления роботом через ROS
Исследование демонстрирует концепцию использования возможностей больших языковых моделей (БЯМ, (large language model (LLM)) для взаимодействия человека и робота под управлением ROS.
-
PaLM-E — мультимодальная языковая модель для управления роботами
Сила больших языковых моделей (large language model (LLM)) уже очевидна. Исследовали из Google показали как можно применять LLM в робототехнике: они включили сенсорные данные в запрос для языковой модели, что позволило модели устанавливать связь между словами и сенсорной информацией.
-
Метод ROSIE — «масштабирование обучения роботов с помощью семантически воображаемого опыта»
Исследователи из Google Robotics представили метод ROSIE (Scaling RObot Learning with Semantically Imagined Experience — Масштабирование обучения роботов с помощью семантически воображаемого опыта), который состоит в использовании диффузионных моделей для увеличения числа данных, используемых для обучения роботов.
-
Microsoft предложила использовать ChatGPT для управления роботами
Исследователи из Microsoft показали как можно использовать мощь ChatGPT для интуитивного управления роботами при помощи естественных языковых команд. В качестве примера показано управление роботом-манипулятором, дроном и домашним роботом-помощником.
-
Четвероногого робота научили ходить используя данные с камеры
Исследователи из университетов Карнеги — Меллона и Беркли (США) научили четвероногого робота-собаку ходить используя данные с камеры.
-
Применение ИИ для генерации идей новых роботов
James Bruton показал как можно использовать изображения, сгенерированные нейросетями для создания чего-нибудь нового и необычного.
-
В Google использовали генеративные модели для автоматического программирования роботов на Python
Исследователи из Google Robotics представили способ управления роботами путём конвертации команд пользователя на естественном языке в код на языке программирования Python.
Преимуществ нет, за исключением читабельности: тип bool обычно имеет размер 1 байт, как и uint8_t. Думаю, компилятор в обоих случаях…