Инженеры из Национального Университета Сингапура (National University of Singapore) разработали метод, который позволяет получать звуки при помощи лидара у робота-пылесоса.
Используя лазер лидара, можно добиться получения данных о вибрации на поверхности предметов, которые образуются от окружающих звуков (голос, музыка).
Основной проблемой с которой столкнулись разработчики стало то, что частота вращения лидаров роботов-пылесосов обычно составляет 5 Гц (360 RPM) — чего не хватает для записи звуков или речи. Но остановив вращение лидара лидара (физически изменив электрическую цепь или при помощи модификации прошивки) — можно добиться чтобы лидар регистрировал расстояние без вращения. Это позволит направить датчик на какую-то одну точку и получить данные об интенсивности сигнала с частотой 1.8 кГц (5 Гц * 360 измерений за оборот).
За тестовый образец был взят робот-пылесос Xiaomi Roborock S5. С помощью Dustcloud (позволяет получить права root на роботах-пылесосах Xiaomi) c него были получены сырые данные лидара, которые затем были интерполированы (чтобы не было пустых фрагментов сигнала), нормализованы, отфильтрованы от низкочастотного шума и преобразованы в спектрограмму 200×200, которая подаётся на вход классификатора на базе свёрточной нейронной сети (CNN). В результате была достигнута высокая степень точности распознавания пола говорящего (96%), цифр (91%) и личности говорящего (67%, из 10 вариантов).
Статьи
Sami S., Dai Y., Tan S. R. X., Roy N., Han J. Spying with Your Robot Vacuum Cleaner: Eavesdropping via Lidar Sensors //ACM SenSys 2020. – 2020. (PDF)
Sami S., Tan S. R. X., Dai Y., Roy N., Han J. LidarPhone: Acoustic Eavesdropping using a Lidar Sensor. (PDF)
Ссылки
Взломанный робот-пылесос подслушал разговоры при помощи лазера
Dustcloud
По теме
Современные роботы оказались слишком уязвимы ко взломам
Учиться жить с роботами
Видео о том как выжить при восстании роботов