Компания Sereact (Германия) представила PickGPT — систему, которая позволяет операторам управлять роботами при помощи команд на естественном языке.
PickGPT построен на большой языковой модели (БЯМ, LLM), что в сочетании с технологией компьютерного зрения позволяет модели визуально идентифицировать объекты и автоматически сопоставлять их с товарами.
Благодаря подобной технологии, программная система робота может быть настроена без дополнительного обучения или программирования, что позволит упростить внедрение, сократив время установки и настройки роботов.
Ссылки
По теме
- Робот Digit использует LLM для интерпретации голосовых команд
- TidyBot — персонализированный робот-помощник на основе больших языковых моделей
- PaLM-E — мультимодальная языковая модель для управления роботами
- PaLM-SayCan — метод с помощью которого Google обучила роботов Everyday Robots реагировать на сложные запросы
- Microsoft предложила использовать ChatGPT для управления роботами
- ROSGPT — демонстрация использования ChatGPT для управления роботом через ROS