SayCan — метод использования языковых моделей для управления действиями робота


Интересный подход к использованию больших языковых моделей (вроде GPT-3) в робототехнике, показали в робототехническом подразделении Google, управляя мобильным роботом-манипулятором Everyday Robots при помощи команд на естественном языке.

Используя большие языковые модели в роли носителя семантических знаний о мире, авторы применяют их для обработки соответствующих  высокоуровневых инструкций, выраженных на естественном языке.

Главная трудность подобной задачи — моделям не хватает контекста  реального мира. Поэтому, например, просьба к языковой модели описать, как вытереть пролитую газировку, может и приведёт к разумному текстовому ответу, но он не сможет быть применим к конкретному роботу, которому и необходимо выполнить эту задачу.

Исследователи предложили реализовать «заземление» действий робота, используя предварительно обученный набор действий, которые используются в соответствии с описаниями этих действий на естественном языке. Робот, в данном случае, выступает в роли «рук и глаз» языковой модели, в то время как языковая модель предоставляет семантические знания высокого уровня о задаче. В комбинации низкоуровневых задач с большими языковыми моделями — языковая модель даёт высокоуровневые знания о процедурах выполнения сложных и протяженных во времени инструкций, а функционал, связанный с этими задачами, даёт основу, необходимую для реализации этих знаний мобильным роботом-манипулятором.

далее: PaLM-SayCan — метод с помощью которого Google обучила роботов Everyday Robots реагировать на сложные запросы

Статьи

Ссылки

По теме


Добавить комментарий

Arduino

Что такое Arduino?
Зачем мне Arduino?
Начало работы с Arduino
Для начинающих ардуинщиков
Радиодетали (точка входа для начинающих ардуинщиков)
Первые шаги с Arduino

Разделы

  1. Преимуществ нет, за исключением читабельности: тип bool обычно имеет размер 1 байт, как и uint8_t. Думаю, компилятор в обоих случаях…

  2. Добрый день! Я недавно начал изучать программирование под STM32 и ваши уроки просто бесценны! Хотел узнать зачем использовать переменную типа…

3D-печать AI Android Arduino Bluetooth CraftDuino DIY IDE iRobot Kinect LEGO OpenCV Open Source Python Raspberry Pi RoboCraft ROS swarm ИК автоматизация андроид балансировать бионика версия видео военный датчик дрон интерфейс камера кибервесна конкурс манипулятор машинное обучение наше нейронная сеть подводный пылесос работа распознавание робот робототехника светодиод сервомашинка собака управление ходить шаг за шагом шаговый двигатель шилд

OpenCV
Робототехника
Будущее за бионическими роботами?
Нейронная сеть - введение