Исследователи из Google Robotics представили способ управления роботами путём конвертации команд пользователя на естественном языке в код на языке программирования Python.

Как и в подходе PaLM-SayCan, в основе подхода лежит использование  больших языковых моделей (Large language models (LLM)) для генерации простых программ на Python из команд на естественном языке. 

Получается, что пользователь может дать команду роботу простым языком, вроде: «Сложи все кубы в один ряд», а модель сгенерирует код на Python, который сможет решить данную задачу. Причём, авторы приложили усилия, чтобы алгоритм получался достаточно простым, где действия робота описываются в виде функций.

Исследователи назвали свой подход — Code as Policies (CaP) —  ориентированный на роботов способ формализации программ, сгенерированных языковой моделью (language model generated programs (LMP)) и выполняемых на реальных системах (роботах).

LMP могут выражать сложные политики, используя:
• Классические логические структуры: последовательности, ветвления (if/else) и циклы (for/while) для создания новых вариантов поведения во время выполнения;
• Сторонние библиотеки для интерполяции точек (NumPy), анализа и
генерация форм (Shapely), пространственно-геометрических рассуждений и т. д.

Затравка для генерации кода представляется в представлении команды пользователя в виде комментария.

Ограничения данного подхода:

• воспринимаемые объекты и примитивы управления только в рамках доступного API,
• трудность интерпретации длинных и сложных команд,
• изначальное предположение, что входные   инструкции возможно выполнить,
• нет возможности заранее определить, будет ли результат правильным.

Статьи

1. Liang J. et al. Code as policies: Language model programs for embodied control //arXiv preprint arXiv:2209.07753. – 2022.

Ссылки

• Code as Policies: Language Model Programs for Embodied Control
• Код на github — code_as_policies

По теме

• PaLM-SayCan — метод с помощью которого Google обучила роботов Everyday Robots реагировать на сложные запросы
• SayCan — метод использования языковых моделей для управления действиями робота
• Роботы Everyday Robots от Alphabet начали выполнять уборку в офисе Google
• Alphabet X представила проект Everyday Robot Project