Исследователи из Сеульского национального университета (Республика Корея) в сотрудничестве с Исследовательским центром мягкой робототехники (Soft Robotics Research Center (SRRC)), предложили новую парадигму обнаружения намерений пользователей ранее разработанного мягкого носимого робота для рук (Exo-Glove Poly II).
Предложенный метод предсказывает намерение захватить/отпустить объект, основываясь на поведении пользователя. Это должно позволить пациентам с повреждением спинного мозга и потерявшим подвижность рук, брать и перемещать предметы.
Разработанный метод основывается на алгоритме машинного обучения, который предсказывает намерения пользователя для носимого на руке робота, используя изображение с камеры в очках пользователя, которая передаёт картинку «от первого лица».
Разработка основана на гипотезе, что намерения действия пользователя можно определить по совокупности поведения рук пользователя и взаимодействий рук с объектами.
Это отличается от распространённой практики использования биосигналов (ЭМГ), которые применяются для управления протезами. Вместо этого, используется видеокамера и технология глубокого обучения.
Данная система работает, если пользователь может двигать рукой, но не кистью. Поэтому, наблюдая за движением руки и расстоянием от руки до объекта и используя машинное обучение, можно проинтерпретировать наблюдение и предсказать намерение пользователя схватить объект.
В данном исследовании используется модель машинного обучения на основе нейронной сети (VIDEO-Net), которая по картинке с камеры должна предсказывать намерения пользователя.
VIDEO-Net состоит из двух подсетей: пространственной и временной. Временная подсеть предназначена для распознавания поведения руки пользователя, а пространственная подсеть — для распознавания взаимодействия рук и объектов.
В результате, пациент с повреждением спинного мозга, носящий мягкого носимого робота для рук Exo-Glove Poly II, может успешно брать и размещать различные предметы, выполнять другие повседневные действия. Например, пить кофе без какой-либо посторонней помощи.
Данный проект — хороший пример ассистивной технологии, которая улучшает качество жизни пользователя, используя силу робототехники и искусственного интеллекта.
Ссылки
SNU BioRobotics Lab
Exo-Glove Poly
Robot hand uses machine learning to detect wearer’s intention
По теме
DeepWay — атономная навигация для людей с проблемами зрения
Интерфейс мозг-компьютер для управления роботом телеприсутствия
Ультразвуковой человекомашинный интерфейс
Chris Atkeson о создании мягких роботов