SayCan — метод использования языковых моделей для управления действиями робота


Интересный подход к использованию больших языковых моделей (вроде GPT-3) в робототехнике, показали в робототехническом подразделении Google, управляя мобильным роботом-манипулятором Everyday Robots при помощи команд на естественном языке.

Используя большие языковые модели в роли носителя семантических знаний о мире, авторы применяют их для обработки соответствующих  высокоуровневых инструкций, выраженных на естественном языке.

Главная трудность подобной задачи — моделям не хватает контекста  реального мира. Поэтому, например, просьба к языковой модели описать, как вытереть пролитую газировку, может и приведёт к разумному текстовому ответу, но он не сможет быть применим к конкретному роботу, которому и необходимо выполнить эту задачу.

Исследователи предложили реализовать «заземление» действий робота, используя предварительно обученный набор действий, которые используются в соответствии с описаниями этих действий на естественном языке. Робот, в данном случае, выступает в роли «рук и глаз» языковой модели, в то время как языковая модель предоставляет семантические знания высокого уровня о задаче. В комбинации низкоуровневых задач с большими языковыми моделями — языковая модель даёт высокоуровневые знания о процедурах выполнения сложных и протяженных во времени инструкций, а функционал, связанный с этими задачами, даёт основу, необходимую для реализации этих знаний мобильным роботом-манипулятором.

Статьи

Ссылки

По теме


Добавить комментарий

Arduino

Что такое Arduino?
Зачем мне Arduino?
Начало работы с Arduino
Для начинающих ардуинщиков
Радиодетали (точка входа для начинающих ардуинщиков)
Первые шаги с Arduino

Разделы

  1. Преимуществ нет, за исключением читабельности: тип bool обычно имеет размер 1 байт, как и uint8_t. Думаю, компилятор в обоих случаях…

  2. Добрый день! Я недавно начал изучать программирование под STM32 и ваши уроки просто бесценны! Хотел узнать зачем использовать переменную типа…

3D-печать AI Android Arduino Bluetooth CraftDuino DIY IDE iRobot Kinect OpenCV Open Source Python Raspberry Pi RoboCraft ROS swarm ИК автоматизация андроид балансировать бионика версия видео военный датчик дрон интерфейс камера кибервесна манипулятор машинное обучение наше нейронная сеть подводный пылесос работа распознавание робот робототехника светодиод сервомашинка собака телеприсутствие управление ходить шаг за шагом шаговый двигатель шилд юмор

OpenCV
Робототехника
Будущее за бионическими роботами?
Нейронная сеть - введение