Die besten Objekterkennungsmodelle für iOS-Apps auf Apple-Silicon-Chips

Android-Geräte und iPhones sind zu einem unverzichtbaren Bestandteil des Alltags geworden. Menschen nutzen sie den ganzen Tag zum Einkaufen, Navigieren, Fotografieren, Scannen von Produkten und Interagieren mit Apps.

Mit dem rasanten Wachstum der künstlichen Intelligenz verfügen viele Smartphones inzwischen über Funktionen, die Bilder und Videos verstehen können, die mit der Kamera des Geräts aufgenommen wurden. Wie effizient diese Funktionen ausgeführt werden können, hängt maßgeblich von der zugrunde liegenden Hardware ab.

Im Apple-Ökosystem werden beispielsweise Geräte wie iPhones, iPads und Macs von Apple-Silicon-Chips angetrieben, darunter Chips der A-Serie und M-Serie. Diese System-on-Chip-Designs (SoC) integrieren zentrale Prozessoreinheiten (CPU), Grafikprozessoren (GPU) und dedizierte Beschleuniger für maschinelles Lernen und ermöglichen so die Inferenz von KI-Anwendungen direkt auf dem Gerät.

Insbesondere werden Funktionen zur Bildanalyse durch Computer Vision ermöglicht, ein Teilgebiet der KI, das Maschinen mithilfe von Aufgaben wie der Objekterkennung die Interpretation und das Verständnis visueller Informationen aus Bildern und Videos erlaubt.

Modelle zur Objekterkennung analysieren Bilder und identifizieren Objekte, indem sie Begrenzungsrahmen um diese zeichnen. Diese Modelle können für eine effiziente Ausführung auf mobiler Hardware wie Apple-Silicon-Chips optimiert werden und ermöglichen so eine visuelle Analyse in Echtzeit direkt auf iOS-Geräten.

Abb. 1. Ein Beispiel für Objekterkennung mit durch Begrenzungsrahmen identifizierten Objekten. (Quelle)

In diesem Artikel sehen wir uns einige der besten Modelle zur Objekterkennung für die Entwicklung schneller iOS-Apps in Echtzeit an. Legen wir los!

Wie Objekterkennung auf iOS-Geräten funktioniert#

Objekterkennung hilft Apps dabei, Objekte in einem Bild zu erkennen und zu lokalisieren. Wenn eine App ein Eingabebild verarbeitet, kann ein Modell zur Objekterkennung die Szene analysieren und verschiedene Objekte identifizieren, indem es Begrenzungsrahmen um sie zeichnet und ihnen Bezeichnungen zuweist.

Die meisten Systeme zur Objekterkennung basieren auf neuronalen Netzen, die Muster in Trainingsdaten erkennen können. Bei Bildverarbeitungsaufgaben lernen diese Modelle visuelle Repräsentationen, indem sie Informationen auf Pixelebene aus großen Trainingsdatensätzen analysieren.

Faltungsneuronale Netze (CNNs) werden häufig als Rückgrat für Modelle zur Objekterkennung eingesetzt. CNNs eignen sich hervorragend für Bildvorhersagen, da sie hierarchische visuelle Merkmale wie Kanten, Formen und Texturen lernen, die dem Modell helfen, Objekte innerhalb einer Szene zu erkennen.

Forschende untersuchen außerdem Transformer-basierte Architekturen für Aufgaben im Bereich Computer Vision. Diese Modelle analysieren Beziehungen zwischen verschiedenen Bildbereichen und erfassen umfassendere Kontextinformationen in der gesamten Szene.

Neben dem Typ der Modellarchitektur ist die Effizienz ein entscheidender Faktor für die Objekterkennung auf iOS-Geräten. Da diese Modelle direkt auf mobilen Geräten ausgeführt werden, müssen sie Bilder schnell verarbeiten und dabei mit begrenzten Rechenressourcen auskommen.

Effiziente Modelle halten die Latenz niedrig und unterstützen die Objekterkennung in Echtzeit in mobilen Apps, insbesondere bei der Analyse kontinuierlicher Kameraeingaben.

Was macht ein Modell zur Objekterkennung für iOS geeignet?#

Bevor wir uns einige der besten Modelle zur Objekterkennung für iOS ansehen, sollten wir einen Schritt zurückgehen und verstehen, was ein Modell für mobile Anwendungen besonders geeignet macht.

Das ideale Modell zur Objekterkennung für eine iOS-App vereint Leistung, Effizienz und Zuverlässigkeit. Hier sind einige wichtige Faktoren, die ein leistungsfähiges Modell für die Bereitstellung auf iOS auszeichnen:

• Niedrige Latenz: Das Modell sollte Bilder schnell verarbeiten, um die Objekterkennung in Echtzeit zu unterstützen, insbesondere bei Anwendungen mit kontinuierlicher Kameraeingabe.
• Effiziente Modellgröße: Kompakte Modelle laufen auf mobilen Geräten effizienter und benötigen in der Regel weniger Speicher und Rechenressourcen.
• Erkennungsgenauigkeit: Eine präzise Erkennung stellt sicher, dass Objekte korrekt klassifiziert werden und die Begrenzungsrahmen in unterschiedlichen Szenen, Objektgrößen und Lichtverhältnissen genau bleiben.
• Stabile Inferenz: Eine konstante Inferenzzeit über mehrere Frames hinweg ist für Echtzeitanwendungen wichtig. Große Schwankungen bei der Verarbeitungszeit können zu ausgelassenen Frames oder einer instabilen Kameraerfahrung führen.
• Speicherbedarf: Die während der Inferenz benötigte RAM-Menge beeinflusst, wie reibungslos ein Modell parallel zu anderen App-Prozessen auf iOS-Geräten ausgeführt wird.

Die besten Modelle zur Objekterkennung für iOS im Überblick#

Sehen wir uns als Nächstes einige der am häufigsten verwendeten Modelle zur Objekterkennung für iOS-Geräte an.

1. Ultralytics YOLO-Modelle#

Ultralytics-YOLO-Modelle sind eine beliebte Familie von Modellen zur Objekterkennung, die für Computer-Vision-Anwendungen in Echtzeit entwickelt wurden. Im Laufe der Jahre hat Ultralytics Vision-Modelle wie Ultralytics YOLOv5, Ultralytics YOLOv8, Ultralytics YOLO11 und das neueste hochmoderne Modell Ultralytics YOLO26 veröffentlicht.

Jede neue Version brachte Verbesserungen bei Erkennungsgenauigkeit, Modelleffizienz und Laufzeitleistung. Dadurch eignen sich Ultralytics-YOLO-Modelle zunehmend für Edge-Geräte wie Smartphones.

Abb. 2. YOLO26 kann verwendet werden, um mehrere Objekte in einer realen Szene zu erkennen. (Quelle)

Einer der wichtigsten Vorteile der Verwendung von Ultralytics-YOLO-Modellen für iOS-Apps ist die über CoreML-Integration bereitgestellte Unterstützung durch das Ultralytics-Python-Paket. Diese Open-Source-Bibliothek hilft Entwicklern, Ultralytics-YOLO-Modelle in einem einfachen Arbeitsablauf zu trainieren, zu testen und zu exportieren.

Das Paket unterstützt den Export trainierter Modelle nach CoreML, Apples Format für maschinelles Lernen zur Bereitstellung von Modellen auf iOS-Geräten. Nach dem Export kann das CoreML-Modell in eine App integriert und direkt auf dem Gerät mithilfe von Hardware wie CPU, GPU und Apple Neural Engine ausgeführt werden.

Abb. 3. CoreML ist Apples Framework zur Integration und Ausführung von KI-Modellen in Apps. (Quelle)

Dadurch können Entwickler die Objekterkennung in Echtzeit unkompliziert in iOS-Apps integrieren und die Inferenz des Modells direkt auf dem Gerät ausführen.

Bereitstellungsoptionen für Ultralytics-YOLO-Modelle auf Apple Silicon#

Über die Modelle selbst hinaus bietet das Ultralytics-Ökosystem zahlreiche Optionen, die die Bereitstellung von YOLO-Modellen auf Apple-Silicon-Chips erleichtern.

Ultralytics hat beispielsweise kürzlich die Ultralytics Platform vorgestellt, die Datensatzverwaltung, Modelltraining, Validierung und Bereitstellung in einer einzigen Umgebung vereint. Dieser einheitliche Arbeitsablauf verringert den Bedarf an mehreren Tools und erleichtert den Weg vom Experiment zur realen Anwendung.

Als Teil der Plattform können trainierte Modelle in mehrere Formate exportiert werden, darunter CoreML für Apple-Geräte. Dadurch lässt sich ein Ultralytics-YOLO-Modell mit nur wenigen Klicks für die Inferenz direkt auf dem Gerät exportieren.

Zusätzlich zu den Exportfunktionen stellt Ultralytics eine Open-Source-Implementierung in Swift (Apples Programmiersprache zur Entwicklung von iOS-Apps) für iOS bereit. Dazu gehört eine sofort einsatzbereite, in Swift geschriebene YOLO-iOS-App, die zeigt, wie CoreML-Modelle integriert, mit Kameraeingaben ausgeführt und für die Objekterkennung in Echtzeit verwendet werden können.

Weitere Vorteile der Ultralytics-YOLO-Modelle#

Hier sind einige weitere wichtige Eigenschaften, die Ultralytics-YOLO-Modelle zu einer hervorragenden Option für die Entwicklung von iOS-Anwendungen machen:

• Unterstützung zahlreicher Vision-Aufgaben: Neben der Objekterkennung können Ultralytics-YOLO-Modelle für Instanzsegmentierung, Posenschätzung, Objektverfolgung, die Erkennung orientierter Begrenzungsrahmen (OBB) und Bildklassifizierung eingesetzt werden.
• Mehrere Modellgrößen: Ultralytics stellt verschiedene Modellvarianten bereit, beispielsweise Nano, Small, Medium, Large und Extra-Large. So können Entwickler eine Version auswählen, die zu den Leistungsgrenzen mobiler Geräte passt.
• Vortrainierte Modelle: Die Ultralytics-YOLO-Modelle sind als vortrainierte Modelle verfügbar und können direkt verwendet oder für bestimmte Aufgaben feinabgestimmt werden, wodurch sich die Entwicklungszeit verkürzt.

2. EfficientDet#

EfficientDet ist eine 2019 von Forschern bei Google vorgestellte Architektur zur Objekterkennung. Sie wurde entwickelt, um Erkennungsgenauigkeit und Recheneffizienz auszubalancieren, und eignet sich daher für Umgebungen mit begrenzten Ressourcen.

Eine zentrale Idee hinter EfficientDet ist eine als Compound Scaling bekannte Skalierungsmethode. Statt nur einen Teil des Modells zu vergrößern, etwa die Netzwerktiefe oder die Bildauflösung, skaliert dieser Ansatz mehrere Komponenten der Architektur gemeinsam.

Durch die gleichzeitige Anpassung dieser Elemente behält das Modell eine stabile Leistung bei, unabhängig davon, ob es auf hohe Genauigkeit ausgelegt oder für eine ressourcenschonende Bereitstellung optimiert ist.

Die Architektur ist in mehreren Varianten von EfficientDet-D0 bis EfficientDet-D7 verfügbar. Kleinere Modelle sind für schnellere Inferenz und einen geringeren Ressourcenverbrauch ausgelegt, während größere Varianten eine höhere Erkennungsgenauigkeit anstreben.

3. MobileNet SSD#

MobileNet SSD ist ein leichtgewichtiges Modell zur Objekterkennung, das für eine effiziente Ausführung auf mobilen Geräten und Edge-Geräten entwickelt wurde. Es wurde etwa 2017 populär.

Das Modell kombiniert das MobileNet-Rückgrat, das auf eine effiziente Merkmalsextraktion ausgerichtet ist, mit dem Ansatz des Einzelbilddetektors (SSD) zur Erkennung von Objekten. Die SSD-Methode erkennt Objekte und erzeugt Begrenzungsrahmen in einem einzigen Vorwärtsdurchlauf.

Dieses Design hält das Modell relativ schnell und einfach, was für Anwendungen nützlich ist, die schnelle Erkennungsergebnisse benötigen. MobileNet SSD wird häufig eingesetzt, wenn kleinere Modelle und schnellere Inferenzzeiten wichtig sind.

Die MobileNet-Architektur reduziert den erforderlichen Rechenaufwand und erleichtert so die Ausführung des Modells auf Geräten mit begrenzter Rechenleistung. Auch wenn MobileNet SSD möglicherweise nicht die Genauigkeit einiger neuerer Erkennungsarchitekturen erreicht, erzielt es bei vielen gängigen Aufgaben der Objekterkennung weiterhin gute Ergebnisse.

4. CenterNet#

CenterNet ist ein Modell zur Objekterkennung, das Objekte durch die Vorhersage ihrer Mittelpunkte identifiziert. Es wurde 2019 vorgestellt.

Statt zahlreiche Kandidatenregionen zu erzeugen, erkennt das Modell den Mittelpunkt eines Objekts und sagt anschließend die Größe des darum liegenden Begrenzungsrahmens voraus. Dieser Ansatz vereinfacht die Erkennungspipeline und reduziert die Anzahl der während der Inferenz erforderlichen Schritte.

Abb. 4. Ein Überblick über die Phasen der Objekterkennung in CenterNet (Quelle)

CenterNet kann für Erkennungsaufgaben in Echtzeit eingesetzt werden und ist im Vergleich zu einigen mehrstufigen Detektoren für seine relativ einfache Architektur bekannt. Varianten wie CenterNet mit ResNet-Rückgraten werden häufig in verschiedenen Computer-Vision-Anwendungen eingesetzt.

Durch sein effizientes Design eignet sich CenterNet für Systeme, die eine schnelle Objekterkennung benötigen, einschließlich Anwendungen auf iOS-Geräten.

5. NanoDet#

NanoDet ist ein leichtgewichtiges Modell zur Objekterkennung, das für Echtzeitanwendungen auf Edge- und Mobilgeräten entwickelt wurde. Es wurde 2020 mit dem Ziel vorgestellt, eine effiziente Objekterkennung bei sehr geringer Modellgröße und minimalen Rechenanforderungen zu ermöglichen.

Das Modell verwendet eine einstufige Erkennungsarchitektur und kann dadurch Objektpositionen und -kategorien in einem einzigen Durchlauf durch das Netzwerk vorhersagen. Dieses Design hält das Modell schnell und eignet sich für Systeme mit begrenzten Hardwareressourcen.

NanoDet verwendet ein kompaktes Rückgrat und einen optimierten Erkennungskopf, um die Anzahl der während der Inferenz erforderlichen Parameter und Berechnungen zu reduzieren. Diese Designentscheidungen tragen dazu bei, eine angemessene Erkennungsgenauigkeit beizubehalten und gleichzeitig Geschwindigkeit und Effizienz zu priorisieren.

Das richtige Modell zur Objekterkennung für deine iOS-App auswählen#

Die Auswahl eines Modells zur Objekterkennung für eine iOS-App hängt häufig von den spezifischen Anforderungen des Anwendungsfalls ab. Da diese Modelle direkt auf Geräten wie iPhone und iPad ausgeführt werden, beeinflussen mehrere Faktoren, welche Option am besten geeignet ist.

Hier sind einige wichtige Aspekte:

• Energieeffizienz: Modelle mit geringerem Stromverbrauch tragen dazu bei, die Akkulaufzeit zu verlängern. Das ist für mobile Apps wichtig, die kontinuierlich Kamerabilder verarbeiten.
• Unterstützung der Modelloptimierung: **Einige Modelle unterstützen Optimierungstechniken wie Quantisierung oder Pruning, die die Modellgröße reduzieren und die Leistung auf iOS-Geräten verbessern können.
• Hardwarekompatibilität: Die von dir gewählte Modellarchitektur sollte effizient auf iOS-Hardware einschließlich CPU, GPU und Apples Neural Engine ausgeführt werden können.
• Skalierbarkeit: Einige Architekturen bieten mehrere Modellgrößen oder -varianten, sodass Entwickler Versionen auswählen können, die am besten zu den Leistungs- und Hardwareanforderungen passen.

Wichtige Erkenntnisse#

Modelle zur Objekterkennung bringen fortschrittliche Computer-Vision-Funktionen in intelligente mobile Apps. Da sie direkt auf iOS-Geräten ausgeführt werden, können Apps mit diesen Modellen Bilder und Videos der Gerätekamera in Echtzeit analysieren. Mit dem richtigen Modell können Entwickler reaktionsschnelle mobile Apps mit visueller Verarbeitung entwickeln, die zuverlässige Leistung in Echtzeit bieten.

Werde Teil unserer wachsenden Community und erkunde unser GitHub-Repository mit praxisnahen Ressourcen für KI. Wenn du heute mit Vision AI entwickeln möchtest, informiere dich über unsere Lizenzierungsoptionen. Erfahre, wie KI in der Landwirtschaft den Ackerbau verändert und wie Vision AI in der Robotik durch einen Besuch unserer Lösungsseiten die Zukunft gestaltet.