Развивая метод SayCan, в компании Google разработали метод PaLM-SayCan, который позволяет роботам Everyday Robots выполнять задания, выраженные на естественном языке.
Данный метод позволяет роботам «понимать» и выполнять растянутые во времени сложные и абстрактные задач. То есть, вместо короткой и конкретной команды: «Принеси яблоко», робот сможет «понять» более сложную фразу пользователя: «Я только что потренировался, пожалуйста, принесите мне перекусить и выпить, чтобы восстановиться».
При использовании PaLM-SayCan — робот выступает в роли «глаз и рук» языковой модели, которая представляет семантические знания высокого уровня о выполняемой задаче.
Языковая модель представляет пользовательский запрос в виде последовательности шагов для выполнения. Далее, эта последовательность фильтруется исходя из набора возможных навыков робота и формируется наиболее осуществимый план, учитывающий текущие состояние робота и его окружения.
Важным плюсом PaLM-SayCan является возможность его интерпретации: на каждом этапе можно увидеть лучшие варианты, которые система рассматривает на основе их языковой оценки и оценки доступности (и комбинированной оценки).
В качестве языковой модели использовалась PaLM (Pathways Language Model).
Ссылки
- Towards Helpful Robots: Grounding Language in Robotic Affordances
- PaLM: Scaling Language Modeling with Pathways
- https://sites.research.google/palm-saycan
По теме