RGBD-сенсор Microsoft Kinect позволяет отслеживать 3D-объекты, используя библиотеку для работы с облаком точек — Point Cloud Library (PCL)
Ryohei Ueda из JSK laboratory (University of Tokyo) реализует pcl::tracking (PDF)
Tracking 3D objects with Point Cloud Library