ESP32 Bildklassifikation leicht gemacht: TinyML auf der ESP32-CAM

Viele Mikrocontroller‑Projekte nutzen heute statt einfacher Sensoren kleine neuronale Netze. Auf einem Board wie der ESP32-CAM läuft ein kompaktes Modell, das Bilder klassifiziert und so einfache Entscheidungen vor Ort trifft. Für Alltagsszenarien bedeutet das: ein Gerät, das erkennt, ob eine Person im Bild ist, welches Objekt zuordbar ist oder ob ein Paket vor der Haustür liegt. Solche Lösungen sparen Bandbreite, schützen Daten durch lokale Verarbeitung und können günstig realisiert werden. Gleichzeitig sind sie technisch herausfordernd: begrenzter RAM, langsame Inferenz ohne Optimierung und Abhängigkeit von Beleuchtung und Kamerawinkel. Die folgenden Abschnitte beschreiben Schritt für Schritt, wie man von der Idee zu einem lauffähigen TinyML‑Projekt kommt und was dabei zu beachten ist.

Bildklassifikation auf einem ESP32 bedeutet: ein vortrainiertes, kleines neuronales Netz führt auf dem Board eine Vorhersage durch. Typischer Ablauf: Kamera erfasst ein Bild, das Bild wird auf eine kleine Auflösung (etwa 96 x 96 Pixel) skaliert, vorverarbeitet (Farbraum, Normalisierung) und als Eingabe an ein TensorFlow Lite‑Micro‑Modell übergeben. Das Modell ist oft int8‑quantisiert, damit es in den knappen Speicher passt.

Ein typisches TinyML‑Modell für die ESP32‑Klasse braucht nur einige hundert Kilobyte und liefert in Sekundenbruchteilen eine einfache Klassenzuordnung.

Wichtige Bausteine sind die Kameratreiber (AI‑Thinker OV2640 auf vielen ESP32‑CAM‑Boards), die Laufzeitbibliothek TensorFlow Lite Micro und Optimierungen wie ESP‑NN, die Rechenkerne beschleunigen. Offizielle Komponenten sind auf GitHub verfügbar und bieten Beispiele wie “person_detection”; diese Beispiele helfen beim Aufbau und zeigen typische Inferenzzeiten.

Wenn Zahlen helfen: Modelle mit rund 250 kB Speicherbedarf und Inputgrößen von 96 x 96 Pixel sind üblich. Auf einem ESP32 lassen sich optimierte Modelle in einigen hundert Millisekunden ausführen; mit stärkerer Optimierung und auf neueren Chips sind Zeiten um 50 ms erreichbar. Für die Praxis bedeutet das: Echtzeit‑Video ist meist nicht möglich, kurze Erkennungsintervalle von einer Sekunde oder mehr sind realistisch.

Wenn die Speichergrenzen erreicht sind, hilft PSRAM (typisch 4 MB auf einigen Modulen) sowie strikte Quantisierung und Architekturwahl (leichte MobileNet‑Varianten). Die offizielle esp-tflite-micro Komponente ist eine verlässliche Anlaufstelle für Entwicklerinnen und Entwickler.

Auf den ersten Blick sind die Anwendungen simpel, im Alltag aber nützlich: Eine Haustürkamera erkennt ankommende Personen und löst eine Benachrichtigung aus, ein Paketscanner überprüft, ob ein Karton sichtbar ist, oder eine Werkbank‑Kamera sortiert einfache Objekte wie Schrauben und Muttern. Solche Systeme sind besonders dann sinnvoll, wenn lokale Verarbeitung Datenschutz schützt und nur relevante Ereignisse übertragen werden.

Ein konkretes Einstiegsprojekt ist die “Person Detection”: Man sammelt einige hundert Bilder mit und ohne Person, trainiert ein kleines Modell (Transfer Learning mit MobileNet‑Varianten) und konvertiert das Ergebnis zu TensorFlow Lite Micro. Für die Datensammlung reicht oft ein kurzer Webserver, der auf der ESP32‑CAM läuft. Edge‑Impulse bietet dafür ein Toolset, mit dem Datenerfassung, Training und Deployment als Arduino‑Bibliothek zusammengehen.

Weitere praktische Beispiele: ein Mülltonnen‑Monitor, der erkennt, ob die Tonne geleert wurde; eine Kamera zur Erkennung von Parkplätzen; ein einfacher Zähler für Produktionsschritte in einer Hobbywerkstatt. Viele Projekte kommen mit weniger als 50 Bildern pro Klasse aus, sinnvoll ist aber mehr Daten und Variation (verschiedene Beleuchtungen, Winkel).

Für Prototypen sind Arduino‑Sketches und fertige Beispiele aus der Community hilfreich. Wer robustere Performance braucht, wechselt zur ESP‑IDF‑Variante mit esp-tflite-micro und aktiviert ESP‑NN‑Optimierungen, was die Inferenz deutlich beschleunigt.

Die Chancen liegen in Preis, Energieeffizienz und Datenschutz: Ein ESP32‑basiertes System kostet wenig, benötigt nur wenig Energie und kann Bilder lokal verarbeiten, sodass keine Sensordaten dauerhaft in die Cloud gelangen. Für einfache Klassifikationsaufgaben reicht das oft aus.

Gleichzeitig existieren klare Grenzen. Die Rechenleistung und der RAM sind knapp (der normale ESP32 hat intern rund 520 kB RAM), weshalb Modelle stark komprimiert werden müssen. Das führt zu einem Kompromiss zwischen Genauigkeit und Modellgröße. Lichtverhältnisse, Kamerawinkel und reale Variationen der Objekte verringern die Zuverlässigkeit gegenüber Laborbedingungen.

Eine weitere Einschränkung ist Latenz: Anwendungen, die wirklich in Echtzeit arbeiten müssen, stoßen an die Grenzen eines einfachen ESP32; hier sind stärkere Chips oder spezialisierte Beschleuniger nötig. In Verbindung mit WLAN oder Webservern steigt die Latenz weiter, weil Netzwerk und Bildübertragung Ressourcen beanspruchen.

Risiken betreffen auch Fehlalarme und falsche Klassifikationen. In sicherheitsrelevanten Szenarien muss das System deshalb durch Redundanz, Schwellenwerte und gegebenenfalls Cloud‑Prüfung ergänzt werden. Für viele Alltagsanwendungen reicht jedoch ein gut getrimmtes Modell und sinnvolle Nachfilterung der Ergebnisse.

In den kommenden Jahren werden zwei Entwicklungen wichtig: bessere Toolchains für kleine Modelle und preiswerte Hardware mit mehr beschleunigter Rechenleistung. Tooling wie Edge Impulse macht Training, Quantisierung und Deployment einfacher, sodass auch Einsteigerinnen schneller zu brauchbaren Ergebnissen kommen. Parallel treiben Projekte wie esp-tflite-micro die native Unterstützung für ESP‑Plattformen voran.

Konkrete Szenarien: Effizientere Modelle erlauben kürzere Erkennungsintervalle — statt jeder Sekunde vielleicht im Zehntelsekunden‑Bereich auf leistungsfähigeren ESP‑Varianten. Zweitens wird die Kombination aus lokalem TinyML und selektivem Cloud‑Fallback üblicher: das Board trifft einfache Entscheidungen, komplexere Prüfungen gehen in die Cloud.

Für Nutzerinnen heißt das: in zwei bis drei Jahren sind robuste und günstige Systeme für viele Aufgaben verfügbar, solange Anforderungen an Robustheit und Sicherheit realistisch bleiben. Wer heute ein Projekt startet, profitiert von bestehenden Tutorials und Community‑Beispielen, sollte aber genug Zeit fürs Datensammeln und Testen einplanen.

Hinweis zur Quellenlage: Manche technische Grundlagen stammen aus Ankündigungen und Repos, die älter als zwei Jahre sind; diese historischen Quellen sind trotzdem relevant, weil die Integration von TensorFlow Lite Micro auf ESP‑Plattformen bereits länger etabliert ist.

ESP32‑basierte Bildklassifikation ist heute praktikabel für einfache, lokal ablaufende Aufgaben. Entscheidend sind eine passende Datensammlung, ein sorgfältig quantisiertes Modell und die Wahl der richtigen Software‑Kette. In vielen Projekten reicht ein Modell unter 1 MB und ein Intervall von einer Sekunde für zuverlässige Ergebnisse. Wer höhere Ansprüche hat, nutzt optimierte ESP‑IDF‑Builds, PSRAM‑fähige Module oder stärkere Chips. Kleine Projekte zeigen oft schnell, wie gut TinyML auf Mikrocontrollern funktioniert und wo zusätzliche Investitionen nötig sind.