TensorFlow можно собрать из исходников прямо на самой Raspberry Pi 3, но на сборку уйдёт около 10 часов.
Для сборки, потребуется SD-карточка объёмом не меньше 16 ГБ и USB-накопитель с 1 ГБ свободного места.
Свободная память потребуется не только для программ, но и для создания файла подкачки, чтобы у ОС на Raspberry Pi хватало виртуальной памяти для хранения0 всего необходимого.

5 шагов установки TensorFlow на Raspberry Pi
1:26 — Шаг 1 — Обновление ПО Raspberry Pi, уставнока требуемых пакетов
3:15 — Шаг 2 — Настройка места для хранения файла подкачки
4:45 — Шаг 3 — Компиляция и установка Bazel (система сборки от Google на Java)
8:40 — Шаг 4 — Компиляция и установка TensorFlow
13:31 — Шаг 5 — Тестирование TensorFlow.

Ссылки
TensorFlow
Building TensorFlow for Raspberry Pi: a Step-By-Step Guide

По теме
Сортировщик огурцов на Arduino, Raspberry Pi 3 и TensorFlow
Питание для Raspberry Pi
Подключение Raspberry Pi к Wi-Fi
Подключение модуля камеры к Raspberry Pi