-
Awesome-LLM-Robotics — список статей про использование больших языковых моделей в робототехнике
Awesome-LLM-Robotics — git-репозиторий со внушительным списком статей, использующих большие языковые/мультимодальные модели в робототехнике. Кроме ссылок на сами статьи есть ещё ссылки на код и соответствующие веб-сайты.
-
Двуногого робота Digit обучили ходить используя только симуляцию
Исследователи из Беркли (Калифорния, США) продемонстрировали, что можно обучить двуногого робота ходить используя только симуляцию.
Reinforcement Learning, машинное обучение, нейронная сеть, обучение, робототехника, симулятор, ходить
-
Boston Dynamics добавила ChatGPT своей робо-собаке Spot
Boston Dynamics продемонстрировали, как можно превратить робота-собаку Spot в робота-гида, используя ChatGPT и другие нейросетевые модели искусственного интеллекта.
-
Исследователи использовали ChatGPT для разработки робота, собирающего помидоры
Исследователи из технических университетов Delft (Нидерланды) и EPFL (Швейцария) показали, как можно использовать большие языковые модели (БЯМ, LLM), такие как ChatGPT, в процессе проектирования роботов. В своей статье они описывают, как использовали ChatGPT для разработки робота-сборщика помидоров.
-
Робот Digit использует LLM для интерпретации голосовых команд
Agility Robotics продемонстрировала, как робот Digit получает голосовую команду «убрать этот беспорядок» и далее используя большую языковую модель (БЯМ (LLM)) интерпретирует, что ему требуется сделать.
-
TidyBot — персонализированный робот-помощник на основе больших языковых моделей
Исследователи из Принстонского университета (США) представили TidyBot — проект персонализированного робота-помощника, который использует возможности больших языковых моделей (БЯМ, LLM) по суммаризации текстов (процесс вычленения сути (краткого содержания) текста) для вывода обобщенных пользовательских предпочтений. Используемый подход обеспечивает быструю адаптацию и обеспечивает точность 91.2% на тестовых данных.
-
ROSGPT — демонстрация использования ChatGPT для управления роботом через ROS
Исследование демонстрирует концепцию использования возможностей больших языковых моделей (БЯМ, (large language model (LLM)) для взаимодействия человека и робота под управлением ROS.
-
PaLM-E — мультимодальная языковая модель для управления роботами
Сила больших языковых моделей (large language model (LLM)) уже очевидна. Исследовали из Google показали как можно применять LLM в робототехнике: они включили сенсорные данные в запрос для языковой модели, что позволило модели устанавливать связь между словами и сенсорной информацией.
-
Метод ROSIE — «масштабирование обучения роботов с помощью семантически воображаемого опыта»
Исследователи из Google Robotics представили метод ROSIE (Scaling RObot Learning with Semantically Imagined Experience — Масштабирование обучения роботов с помощью семантически воображаемого опыта), который состоит в использовании диффузионных моделей для увеличения числа данных, используемых для обучения роботов.
-
Microsoft предложила использовать ChatGPT для управления роботами
Исследователи из Microsoft показали как можно использовать мощь ChatGPT для интуитивного управления роботами при помощи естественных языковых команд. В качестве примера показано управление роботом-манипулятором, дроном и домашним роботом-помощником.
Преимуществ нет, за исключением читабельности: тип bool обычно имеет размер 1 байт, как и uint8_t. Думаю, компилятор в обоих случаях…