Touch me – технология управления роботами с использованием дополненной реальности.
Думаю, в ROS, с использованием программы визуализации — rviz и интерактивных маркеров вполне можно повторить это дело 🙂
UPD 2011-12-24
вот о чём я говорил:
TurtleBot Teleoperation Using Interactive Markers
— почти что то же самое 🙂