На поле естественных интерфейсов и Perceptual Computing выходит компания Intel.

Perceptual Computing — это технология, позволяющая пользователю взаимодействовать с устройствами, используя естественные для человека способы: голосовые команды, движения рук, мимика лица и т.п.

На 3D-сенсор Kinect от компании Microsoft, компания Intel отвечает своей камерой CREATIVE Interactive Gesture Camera™ и Intel Perceptual Computing SDK.

В октябре прошлого года, на сайте компании Intel появилась первая версия PerC SDK, которая поддерживала следующие возможности:
* Распознавание жестов, положения рук, пальцев, уровень открытости ладони
* Отслеживание положения лица, определение контрольных точек (губы, нос, глаза), идентификация («узнавание») лица
* Отслеживание положение 2-х и 3-х мерных объектов

А спустя месяц — в конце ноября; появилась новая версия (Beta 2) — в которую была добавлена возможность работы с голосом при помощи модуля Nuance Dragon Assistant.

модуль для распознавания речи, устанавливается отдельно

Для своей работы, Intel Perceptual Computing SDK требуется наличие камеры CREATIVE Interactive Gesture Camera™, которая кроме обычной RGB-камеры, содержит так же в себе инфракрасную камеру и два микрофона (позволяют улучшить качество распознавания речи).

Впрочем, работа с SDK, возможна и без камеры, но тогда будут доступны только модули распознавания речи и определения положения и маркеров лица.

Характеристики камеры CREATIVE Interactive Gesture Camera™

* Разрешение RGB сенсора: 720p (1280 x 720)
* Разрешение IR Depth сенсора: QVGA (320 x 240)
* Угол обзора (градусы): 73
* Частота работы (кадров в секунду): 30
* Расстояние: от 15 см до 1 метра
* Питание: USB 2.0 (< 2.5 Ватт) * Цена: $149 Пример работы ИК-камеры

Для своей работы камера и SDK требуют:
* Процессор 2-го поколения Intel Core и выше
* 4GB system memory
* Порт USB 2.0
* Windows 7 SP1 и выше

К сожалению, линукс пока не поддерживается, но будем надеяться, что это упущение будет исправлено 🙂

Архитектура SDK

Т.о., каждая возможность SDK представлена в виде отдельного модуля, что позволяет наращивать возможности платформы просто добавляя новые модули, без вмешательства в ядро системы (подход, который мы уже видели в OpenCV и ROS).
При этом, SDK предоставляет API, которое позволяет работать с данными камеры как на низком уровне, так и на высоком (используя готовые алгоритмы распознавания жестов, положения рук, лица, голоса).

Напрямую с камерой, работает драйвер (используя возможности аппаратной платформы для ускорения работы SDK), а далее приложение, использующее SDK, использует модуль ввода-вывода, что позволяет одновременную работу сразу нескольких приложений, использующих SDK (грамотный ход — вспомним невозможность работы с web-камерой, когда приложение получает эксклюзивный доступ и делает невозможным работать с камерой из других приложений).

Intel Perceptual Computing SDK, содержит необходимые заголовочные и библиотечные файлы для его использования в фреймворках Unity Game Engine, openFrameworks, Processing, а так же приложениях, написанных на С++, С#.

Области применения Perceptual Computing и Intel Perceptual Computing SDK, ограничиваются только нашей фантазией.
Это:
* идентификация пользователя;
* игры

, где пользователь может управлять игровыми персонажами и объектами.
* различные «примерочные» причёсок/очков и т.п., использущие идентификацию лица.

http://www.youtube.com/watch?v=catt5ZHCnl4

Конкурс

Для продвижения камеры и своего SDK, компания Intel замутила конкурс Perceptual Computing Challenge с призовым фондом $1 000 000.

Для участия в конкурсе, необходимо представить приложение, которое будет использовать возможности PerC SDK по управлению жестами, отслеживанию положения, идентификации лица пользователя.

Конкурс разбит на два этапа.
Чтобы участвовать в конкурсе на первом этапе необходимо до 20-ого февраля:
* Зарегистрироваться на сайте конкурса
* Выбрать одну или несколько категорий, в котором будет участвовать приложение
* Дать краткое описание предлагаемого приложения (на английском)
* Создать прототип приложения, демонстрирующий одну из всех планируемых возможностей
* Отправить скриншот экрана прототипа
* Отправить видео, демонстрирующее возможности прототипа (на английском)

4 номинации конкурсных работ:
* игры
* совместное использование возможностей PerC SDK (как один способ взаимодействия, может быть дополнен другим)
* креативный пользовательский интерфейс (взаимодействие с пользователем с использованием PerC SDK).
* продуктивность (повышение продуктивности работы пользователя)

SDK можно бесплатно загрузить здесь.
А самое интересное — камеру CREATIVE Interactive Gesture Camera™, необходимую для полноценной работы SDK, на время конкурса, тоже можно получить бесплатно ( для этого нужно заполнить заявление (loan) и камеру вышлют бесплатно по почте (нужно будет отослать обратно через 60 дней).

После 20-го февраля, будет происходить отбор участников из числа приславших заявки и выполнивших все условия. Имена победителей первого этапа станут известны после 11-го марта.
После этого стартует второй этап конкурса, который уже будет оценивать реальные приложения.
Подробнее о конкурсе можно узнать в статье на хабре и на сайте конкурса Perceptual Computing Challenge.

За возможность бесплатно пощупать этот сенсор — можно попробовать поучаствовать 🙂
Зарегистрировался в конкурсе, и запросил камеру. На почту прислали pdf, который нужно распечатать, написать свой адрес и расписаться.
Отсканировал и отправил обратно. В ответ, написали, что мой запрос получен и обещали выслать камеру в течение 7-10 дней.

Ставим SDK. Судя по dll-кам, находящимся в каталоге bin, SDK используется для своей работы OpenCV 2.3.0
а если заглянуть дальше в bin/data/classification/DB, то можно углядеть, что для детектирования (классификации) лиц используются вейвлеты Хаара, а для детектирования рук используется нейронная сеть (ANN): файл data представляет собой YAML-файл, в котором хранятся настройки OpenCV-ой нейронной сети (функция активации — сигмод, обучение — обратное распространение ошибки).
Забавно 🙂

Ссылки
http://software.intel.com/en-us/vcsource/tools/perceptual-computing-sdk
http://intel.com/software/perceptual
http://perceptualchallenge.intel.com
Intel Perceptual Computing SDK
Конкурс приложений, основанных на Intel Perceptual SDK, с призовым фондом в $1 000 000 (миллион долларов)!