Машинное обучение помогает робо-руке понять намерения владельца


Исследователи из Сеульского национального университета (Республика Корея) в сотрудничестве с Исследовательским центром мягкой робототехники (Soft Robotics Research Center (SRRC)), предложили новую парадигму обнаружения намерений пользователей ранее разработанного мягкого носимого робота для рук (Exo-Glove Poly II).
Предложенный метод предсказывает намерение захватить/отпустить объект, основываясь на поведении пользователя. Это должно позволить пациентам с повреждением спинного мозга и потерявшим подвижность рук, брать и перемещать предметы.
Разработанный метод основывается на алгоритме машинного обучения, который предсказывает намерения пользователя для носимого на руке робота, используя изображение с камеры в очках пользователя, которая передаёт картинку «от первого лица».
Разработка основана на гипотезе, что намерения действия пользователя можно определить по совокупности поведения рук пользователя и взаимодействий рук с объектами.

Это отличается от распространённой практики использования биосигналов (ЭМГ), которые применяются для управления протезами. Вместо этого, используется видеокамера и технология глубокого обучения.
Данная система работает, если пользователь может двигать рукой, но не кистью. Поэтому, наблюдая за движением руки и расстоянием от руки до объекта и используя машинное обучение, можно проинтерпретировать наблюдение и предсказать намерение пользователя схватить объект.

В данном исследовании используется модель машинного обучения на основе нейронной сети (VIDEO-Net), которая по картинке с камеры должна предсказывать намерения пользователя.
VIDEO-Net состоит из двух подсетей: пространственной и временной. Временная подсеть предназначена для распознавания поведения руки пользователя, а пространственная подсеть — для распознавания взаимодействия рук и объектов.
В результате, пациент с повреждением спинного мозга, носящий мягкого носимого робота для рук Exo-Glove Poly II, может успешно брать и размещать различные предметы, выполнять другие повседневные действия. Например, пить кофе без какой-либо посторонней помощи.

Данный проект — хороший пример ассистивной технологии, которая улучшает качество жизни пользователя, используя силу робототехники и искусственного интеллекта.

Ссылки
SNU BioRobotics Lab
Exo-Glove Poly
Robot hand uses machine learning to detect wearer’s intention

По теме
DeepWay — атономная навигация для людей с проблемами зрения
Интерфейс мозг-компьютер для управления роботом телеприсутствия
Ультразвуковой человекомашинный интерфейс
Chris Atkeson о создании мягких роботов


Добавить комментарий

Arduino

Что такое Arduino?
Зачем мне Arduino?
Начало работы с Arduino
Для начинающих ардуинщиков
Радиодетали (точка входа для начинающих ардуинщиков)
Первые шаги с Arduino

Разделы

  1. Преимуществ нет, за исключением читабельности: тип bool обычно имеет размер 1 байт, как и uint8_t. Думаю, компилятор в обоих случаях…

  2. Добрый день! Я недавно начал изучать программирование под STM32 и ваши уроки просто бесценны! Хотел узнать зачем использовать переменную типа…

3D-печать AI Android Arduino Bluetooth CraftDuino DIY IDE iRobot Kinect LEGO OpenCV Open Source Python Raspberry Pi RoboCraft ROS swarm ИК автоматизация андроид балансировать бионика версия видео военный датчик дрон интерфейс камера кибервесна конкурс манипулятор машинное обучение наше нейронная сеть подводный пылесос работа распознавание робот робототехника светодиод сервомашинка собака управление ходить шаг за шагом шаговый двигатель шилд

OpenCV
Робототехника
Будущее за бионическими роботами?
Нейронная сеть - введение