Nachricht

Sep 26, 2023

Byte

Während Algorithmen der künstlichen Intelligenz (KI) auf größeren und leistungsfähigeren laufen

Während Algorithmen der künstlichen Intelligenz (KI), die auf größerer, leistungsstärkerer Hardware laufen, oft im Rampenlicht stehen, sollte die Bedeutung von Edge-KI nicht unterschätzt werden. Edge AI bezieht sich auf die Bereitstellung von KI-Algorithmen auf lokalen Geräten wie Smartphones, Kameras, Sensoren und anderen Internet-of-Things-Geräten, anstatt sich ausschließlich auf cloudbasierte Lösungen zu verlassen. Dieser dezentrale Ansatz bietet zahlreiche Vorteile und eröffnet vielfältige Anwendungsmöglichkeiten.

Einer der Hauptvorteile von Edge AI ist die reduzierte Latenz. Durch die lokale Verarbeitung der Daten auf dem Gerät selbst macht Edge AI Roundtrips in die Cloud überflüssig, was zu schnelleren Reaktionszeiten führt. Diese Echtzeitfähigkeit ist in Szenarien von entscheidender Bedeutung, in denen eine sofortige Entscheidungsfindung von entscheidender Bedeutung ist, beispielsweise bei autonomen Fahrzeugen, industrieller Automatisierung und der Überwachung kritischer Infrastrukturen. Darüber hinaus verbessert Edge AI den Datenschutz und die Sicherheit, da vertrauliche Daten auf dem lokalen Gerät verbleiben, wodurch das Risiko von Datenschutzverletzungen verringert und die Vertraulichkeit der Benutzer gewährleistet wird.

Trotz der zahlreichen Vorteile stellt die Ausführung ressourcenintensiverer Algorithmen, wie z. B. komplexe Objekterkennungs- oder Deep-Learning-Modelle, auf Edge-Geräten eine erhebliche Herausforderung dar. Edge-Computing-Geräte verfügen im Vergleich zu Cloud-basierter Hardware häufig über begrenzte Rechenleistung, Speicher und Energieressourcen. Für einen effizienten Betrieb ist es von entscheidender Bedeutung, ein Gleichgewicht zwischen Algorithmusgenauigkeit und Gerätebeschränkungen zu finden. Damit diese Algorithmen auf Edge-Geräten gut funktionieren, sind Optimierungen wie Modellkomprimierung, Quantisierung und effiziente Inferenztechniken erforderlich.

Da das Verstehen und Erkennen von Objekten in Bildern oder Videos eine grundlegende Aufgabe der visuellen Wahrnehmung ist, sind Objekterkennungsalgorithmen branchen- und anwendungsübergreifend von besonderer Bedeutung. Bei der Anpassung von Objekterkennungsmodellen an ressourcenbeschränkte Edge-Geräte wurden große Fortschritte erzielt, wie etwa der FOMO-Algorithmus von Edge Impulse, der bis zu 30-mal schneller als MobileNet SSD läuft, für viele Anwendungsfälle jedoch weniger als 200 KB Speicher benötigt. Aber für solch wichtige und vielfältige Anwendungsbereiche gibt es noch viel Raum für weitere Fortschritte.

Der jüngste Neuzugang auf diesem Gebiet ist ein Forscherteam des Center for Project Based Learning der ETH Zürich. Sie haben ein äußerst flexibles, speichereffizientes und ultraleichtes Objekterkennungsnetzwerk entwickelt, das sie TinyissimoYOLO nennen. Die auf dieses Modell angewendeten Optimierungen machen es gut für den Betrieb auf Mikrocontrollern mit geringem Stromverbrauch geeignet.

TinyissimoYOLO ist ein Convolutional Neural Network (CNN), das auf der Architektur des beliebten YOLO-Algorithmus basiert. Es wurde aus quantisierten Faltungsschichten mit 3 x 3 Kerneln und einer vollständig verbundenen Ausgabeschicht aufgebaut. Sowohl Faltungs- als auch vollständig verbundene lineare Schichten sind in den Hardware- und Software-Toolchains moderner Geräte stark optimiert, was TinyissimoYOLO einen Geschwindigkeits- und Effizienzschub verleiht. Es handelt sich um ein verallgemeinertes Objekterkennungsnetzwerk, das auf eine Vielzahl von Aufgaben angewendet werden kann und nicht mehr als 512 KB Flash-Speicher zum Speichern von Modellparametern benötigt.

Das Modell kann auf praktisch jeder Hardware eingesetzt werden, die die sehr bescheidenen Anforderungen erfüllt, einschließlich Plattformen mit Arm-Cortex-M-Prozessoren oder KI-Hardwarebeschleunigern. Eine breite Palette von Geräten wurde mit TinyissimoYOLO getestet, darunter Analog Devices MAX78000, Greenwaves GAP9, Sony Spresense und Syntiant TinyML.

Bei der Evaluierung ihrer Methoden stellte das Team fest, dass sie die Objekterkennung auf einem MAX78000-Board mit atemberaubenden 180 Bildern pro Sekunde ausführen konnten. Und diese hervorragende Leistung ging einher mit einem extrem niedrigen Energieverbrauch von nur 196 µJ pro Inferenz. Das alles spielt natürlich keine Rolle, wenn das Modell nicht gut funktioniert. Erstaunlicherweise zeigte dieses winzige Modell aber auch eine vergleichbare Leistung wie viel größere Objekterkennungsalgorithmen.

Natürlich müssen jedoch einige Abstriche gemacht werden, um eine solche Leistung zu vollbringen. Die Eingabegröße des Bildes ist beispielsweise auf 88 x 88 Pixel begrenzt. Für viele Anwendungen reicht die Auflösung nicht aus. Da außerdem das Problem der Mehrklassenobjekterkennung mit zunehmender Anzahl von Objekten schwieriger wird, werden maximal drei Objekte pro Bild unterstützt.

Trotz dieser Einschränkungen machen die Vielseitigkeit, Genauigkeit und die minimalen Hardwareanforderungen von TinyissimoYOLO es zu einer attraktiven Option für diejenigen, die eine Objekterkennung am Rande durchführen möchten.