Intel Perceptual Computing SDK


На поле естественных интерфейсов и Perceptual Computing выходит компания Intel.

Perceptual Computing — это технология, позволяющая пользователю взаимодействовать с устройствами, используя естественные для человека способы: голосовые команды, движения рук, мимика лица и т.п.

На 3D-сенсор Kinect от компании Microsoft, компания Intel отвечает своей камерой CREATIVE Interactive Gesture Camera™ и Intel Perceptual Computing SDK.

В октябре прошлого года, на сайте компании Intel появилась первая версия PerC SDK, которая поддерживала следующие возможности:
* Распознавание жестов, положения рук, пальцев, уровень открытости ладони
* Отслеживание положения лица, определение контрольных точек (губы, нос, глаза), идентификация («узнавание») лица
* Отслеживание положение 2-х и 3-х мерных объектов

А спустя месяц — в конце ноября; появилась новая версия (Beta 2) — в которую была добавлена возможность работы с голосом при помощи модуля Nuance Dragon Assistant.

модуль для распознавания речи, устанавливается отдельно

Для своей работы, Intel Perceptual Computing SDK требуется наличие камеры CREATIVE Interactive Gesture Camera™, которая кроме обычной RGB-камеры, содержит так же в себе инфракрасную камеру и два микрофона (позволяют улучшить качество распознавания речи).

Впрочем, работа с SDK, возможна и без камеры, но тогда будут доступны только модули распознавания речи и определения положения и маркеров лица.

Характеристики камеры CREATIVE Interactive Gesture Camera™

* Разрешение RGB сенсора: 720p (1280 x 720)
* Разрешение IR Depth сенсора: QVGA (320 x 240)
* Угол обзора (градусы): 73
* Частота работы (кадров в секунду): 30
* Расстояние: от 15 см до 1 метра
* Питание: USB 2.0 (< 2.5 Ватт) * Цена: $149 Пример работы ИК-камеры

Для своей работы камера и SDK требуют:
* Процессор 2-го поколения Intel Core и выше
* 4GB system memory
* Порт USB 2.0
* Windows 7 SP1 и выше

К сожалению, линукс пока не поддерживается, но будем надеяться, что это упущение будет исправлено 🙂

Архитектура SDK

Т.о., каждая возможность SDK представлена в виде отдельного модуля, что позволяет наращивать возможности платформы просто добавляя новые модули, без вмешательства в ядро системы (подход, который мы уже видели в OpenCV и ROS).
При этом, SDK предоставляет API, которое позволяет работать с данными камеры как на низком уровне, так и на высоком (используя готовые алгоритмы распознавания жестов, положения рук, лица, голоса).

Напрямую с камерой, работает драйвер (используя возможности аппаратной платформы для ускорения работы SDK), а далее приложение, использующее SDK, использует модуль ввода-вывода, что позволяет одновременную работу сразу нескольких приложений, использующих SDK (грамотный ход — вспомним невозможность работы с web-камерой, когда приложение получает эксклюзивный доступ и делает невозможным работать с камерой из других приложений).

Intel Perceptual Computing SDK, содержит необходимые заголовочные и библиотечные файлы для его использования в фреймворках Unity Game Engine, openFrameworks, Processing, а так же приложениях, написанных на С++, С#.

Области применения Perceptual Computing и Intel Perceptual Computing SDK, ограничиваются только нашей фантазией.
Это:
* идентификация пользователя;
* игры

, где пользователь может управлять игровыми персонажами и объектами.
* различные «примерочные» причёсок/очков и т.п., использущие идентификацию лица.

http://www.youtube.com/watch?v=catt5ZHCnl4

Конкурс

Для продвижения камеры и своего SDK, компания Intel замутила конкурс Perceptual Computing Challenge с призовым фондом $1 000 000.

Для участия в конкурсе, необходимо представить приложение, которое будет использовать возможности PerC SDK по управлению жестами, отслеживанию положения, идентификации лица пользователя.

Конкурс разбит на два этапа.
Чтобы участвовать в конкурсе на первом этапе необходимо до 20-ого февраля:
* Зарегистрироваться на сайте конкурса
* Выбрать одну или несколько категорий, в котором будет участвовать приложение
* Дать краткое описание предлагаемого приложения (на английском)
* Создать прототип приложения, демонстрирующий одну из всех планируемых возможностей
* Отправить скриншот экрана прототипа
* Отправить видео, демонстрирующее возможности прототипа (на английском)

4 номинации конкурсных работ:
* игры
* совместное использование возможностей PerC SDK (как один способ взаимодействия, может быть дополнен другим)
* креативный пользовательский интерфейс (взаимодействие с пользователем с использованием PerC SDK).
* продуктивность (повышение продуктивности работы пользователя)

SDK можно бесплатно загрузить здесь.
А самое интересное — камеру CREATIVE Interactive Gesture Camera™, необходимую для полноценной работы SDK, на время конкурса, тоже можно получить бесплатно ( для этого нужно заполнить заявление (loan) и камеру вышлют бесплатно по почте (нужно будет отослать обратно через 60 дней).

После 20-го февраля, будет происходить отбор участников из числа приславших заявки и выполнивших все условия. Имена победителей первого этапа станут известны после 11-го марта.
После этого стартует второй этап конкурса, который уже будет оценивать реальные приложения.
Подробнее о конкурсе можно узнать в статье на хабре и на сайте конкурса Perceptual Computing Challenge.

За возможность бесплатно пощупать этот сенсор — можно попробовать поучаствовать 🙂
Зарегистрировался в конкурсе, и запросил камеру. На почту прислали pdf, который нужно распечатать, написать свой адрес и расписаться.
Отсканировал и отправил обратно. В ответ, написали, что мой запрос получен и обещали выслать камеру в течение 7-10 дней.

Ставим SDK. Судя по dll-кам, находящимся в каталоге bin, SDK используется для своей работы OpenCV 2.3.0
а если заглянуть дальше в bin/data/classification/DB, то можно углядеть, что для детектирования (классификации) лиц используются вейвлеты Хаара, а для детектирования рук используется нейронная сеть (ANN): файл data представляет собой YAML-файл, в котором хранятся настройки OpenCV-ой нейронной сети (функция активации — сигмод, обучение — обратное распространение ошибки).
Забавно 🙂

Ссылки
http://software.intel.com/en-us/vcsource/tools/perceptual-computing-sdk
http://intel.com/software/perceptual
http://perceptualchallenge.intel.com
Intel Perceptual Computing SDK
Конкурс приложений, основанных на Intel Perceptual SDK, с призовым фондом в $1 000 000 (миллион долларов)!


Добавить комментарий

Arduino

Что такое Arduino?
Зачем мне Arduino?
Начало работы с Arduino
Для начинающих ардуинщиков
Радиодетали (точка входа для начинающих ардуинщиков)
Первые шаги с Arduino

Разделы

  1. Преимуществ нет, за исключением читабельности: тип bool обычно имеет размер 1 байт, как и uint8_t. Думаю, компилятор в обоих случаях…

  2. Добрый день! Я недавно начал изучать программирование под STM32 и ваши уроки просто бесценны! Хотел узнать зачем использовать переменную типа…

3D-печать AI Android Arduino Bluetooth CraftDuino DIY IDE iRobot Kinect LEGO OpenCV Open Source Python Raspberry Pi RoboCraft ROS swarm ИК автоматизация андроид балансировать бионика версия видео военный датчик дрон интерфейс камера кибервесна манипулятор машинное обучение наше нейронная сеть подводный пылесос работа распознавание робот робототехника светодиод сервомашинка собака управление ходить шаг за шагом шаговый двигатель шилд юмор

OpenCV
Робототехника
Будущее за бионическими роботами?
Нейронная сеть - введение