На международной ежегодной выставке в области робототехники — IROS 2022 (International Conference on Intelligent Robots and Systems), которая в этом году проходила с 23 по 27 октября в Киото были представлены самые разные исследования в области робототехники. В направлении когнитивной робототехники лучшей стала работа про подстройку жестов робота под речь (Gesture2Vec).
Для подстраивания движений робота под произносимую речь, авторы использовали метод перевода аудиосигнала в набор токенов, которым соответствуют некоторые «токены» жестов, получаемые на этапе обучения системы с использованием автокодировщика. Далее используется «квантование» жестов, формирующее из получаемого набора жестов наиболее подходящую последовательность. И, наконец, декодер переводит последовательность жестов в управляющий сигнал, выдаваемый на манипуляторы робота.
Статья
- Yazdian P. J., Chen M., Lim A. Gesture2Vec: Clustering Gestures using Representation Learning Methods for Co-speech Gesture Generation. – 2021.
Ссылки
По теме