С развитием технологий ИИ и повсеместным внедрением нейронных сетей — нужно постоянно помнить о том, что подобные системы самым неожиданным образом могут быть введены в заблуждение.
Например, вот отличный пример — добавление всего одного определённого пикселя на изображение, позволяет добиться, чтобы максимизировать вероятность ошибки системы распознавания.
Статьи
One pixel attack for fooling deep neural networks
Ссылки
one-pixel-attack-keras
По теме
Разъяснение Keras
Что не так со свёрточными нейронными сетями?
Глубокие нейронные сети как следующий этап развития программного обеспечения
Проблемы применения машинного обучения для решения реальных задач
Нейронная сеть
Нейронная сеть — введение
Принцип обучения многослойной нейронной сети с помощью алгоритма обратного распространения
Пример работы самоорганизующейся инкрементной нейронной сети SOINN