Die besten Objekterkennungsmodelle für iOS-Apps auf Apple-Silicon-Chips

Android-Geräte und iPhones sind aus dem Alltag nicht mehr wegzudenken. Menschen nutzen sie den ganzen Tag über zum Einkaufen, Navigieren, Fotografieren, Scannen von Produkten und für die Interaktion mit Apps.

Mit dem rasanten Fortschritt der künstlichen Intelligenz bieten viele Smartphones inzwischen Funktionen, die Bilder und Videos auswerten können, welche mit der Gerätekamera aufgenommen wurden. Ob diese Funktionen effizient ausgeführt werden können, hängt maßgeblich von der zugrunde liegenden Hardware ab.

Im Apple-Ökosystem werden beispielsweise Geräte wie iPhones, iPads und Macs von Apple-Silicon-Chips angetrieben, darunter Chips der A- und M-Serie. Diese System-on-Chip- (SoC-)Architekturen vereinen zentrale Verarbeitungseinheiten (CPU), Grafikprozessoren (GPU) und spezialisierte Beschleuniger für maschinelles Lernen. Dadurch ist die Inferenz von KI-Anwendungen direkt auf dem Gerät möglich.

Insbesondere werden Bildanalysefunktionen durch Computer Vision ermöglicht, ein Bereich der KI, der Maschinen mithilfe von Aufgaben wie der Objekterkennung erlaubt, visuelle Informationen aus Bildern und Videos zu interpretieren und zu verstehen.

Konkret analysieren Objekterkennungsmodelle Bilder und identifizieren Objekte, indem sie Begrenzungsrahmen darum zeichnen. Diese Modelle lassen sich für den effizienten Einsatz auf mobiler Hardware wie Apple-Silicon-Chips optimieren und ermöglichen so eine visuelle Analyse in Echtzeit direkt auf dem Gerät unter iOS.

Abb. 1. Ein Beispiel für Objekterkennung, bei der Objekte durch Begrenzungsrahmen gekennzeichnet sind. (Quelle)

In diesem Artikel stellen wir einige der besten Objekterkennungsmodelle für die Entwicklung schneller iOS-Apps in Echtzeit vor.

So funktionieren Objekterkennungsmodelle auf iOS-Geräten#

Objekterkennung hilft Apps dabei, Objekte in einem Bild zu erkennen und zu lokalisieren. Verarbeitet eine App ein Eingabebild, kann ein Objekterkennungsmodell die Szene analysieren und verschiedene Objekte identifizieren, indem es Begrenzungsrahmen um sie zeichnet und ihnen Bezeichnungen zuweist.

Die meisten Objekterkennungssysteme basieren auf neuronalen Netzen, die Muster in Trainingsdaten erkennen können. Für Bildverarbeitungsaufgaben lernen diese Modelle visuelle Repräsentationen, indem sie Informationen auf Pixelebene aus umfangreichen Trainingsdatensätzen analysieren.

Faltungsneuronale Netze (CNNs) werden häufig als Basis für Objekterkennungsmodelle verwendet. CNNs eignen sich sehr gut für Bildvorhersagen, da sie hierarchische visuelle Merkmale wie Kanten, Formen und Texturen erlernen, die dem Modell helfen, Objekte in einer Szene zu erkennen.

Forschende untersuchen außerdem Transformer-basierte Architekturen für Computer-Vision-Aufgaben. Diese Modelle analysieren die Beziehungen zwischen verschiedenen Bildbereichen und erfassen übergreifende Kontextinformationen in der gesamten Szene.

Neben dem Architekturtyp des Modells ist die Effizienz ein entscheidender Faktor bei der Objekterkennung auf iOS-Geräten. Da diese Modelle direkt auf mobilen Geräten ausgeführt werden, müssen sie Bilder schnell und mit begrenzten Rechenressourcen verarbeiten.

Effiziente Modelle halten die Latenz niedrig und ermöglichen Objekterkennung in Echtzeit in mobilen Apps, insbesondere bei der Analyse kontinuierlicher Kameraeingaben.

Was macht ein Objekterkennungsmodell für iOS geeignet?#

Bevor wir uns einige der besten Objekterkennungsmodelle für iOS ansehen, wollen wir einen Schritt zurücktreten und verstehen, was ein Modell für mobile Anwendungen besonders geeignet macht.

Das ideale Objekterkennungsmodell für eine iOS-App vereint Leistung, Effizienz und Zuverlässigkeit. Hier sind einige wichtige Faktoren, die ein leistungsfähiges Modell für den Einsatz unter iOS auszeichnen:

• Niedrige Latenz: Das Modell sollte Bilder schnell verarbeiten, um Objekterkennung in Echtzeit zu ermöglichen – besonders bei Anwendungen, die auf kontinuierliche Kameraeingaben angewiesen sind.
• Effiziente Modellgröße: Kompakte Modelle laufen auf mobilen Geräten effizienter und benötigen in der Regel weniger Arbeitsspeicher und Rechenressourcen.
• Erkennungsgenauigkeit: Eine präzise Erkennung stellt sicher, dass Objekte korrekt klassifiziert und Begrenzungsrahmen in unterschiedlichen Szenen, bei verschiedenen Objektgrößen und unter wechselnden Lichtverhältnissen genau platziert werden.
• Stabile Inferenz: Bei Echtzeitanwendungen ist eine gleichbleibende Inferenzzeit über mehrere Einzelbilder hinweg wichtig. Starke Schwankungen der Verarbeitungszeit können zu ausgelassenen Einzelbildern oder einem instabilen Kameraerlebnis führen.
• Speicherbedarf: Die während der Inferenz benötigte RAM-Menge wirkt sich darauf aus, wie reibungslos ein Modell neben anderen App-Prozessen auf iOS-Geräten läuft.

Ein Blick auf die besten Objekterkennungsmodelle für iOS#

Sehen wir uns nun einige der am häufigsten verwendeten Objekterkennungsmodelle für iOS-Geräte an.

1. Ultralytics-YOLO-Modelle#

Ultralytics YOLO-Modelle sind eine beliebte Familie von Objekterkennungsmodellen für Computer-Vision-Anwendungen in Echtzeit. Im Laufe der Jahre hat Ultralytics Bildverarbeitungsmodelle wie Ultralytics YOLOv5, Ultralytics YOLOv8, Ultralytics YOLO11 und das neueste hochmoderne Modell Ultralytics YOLO26 veröffentlicht.

Jede neue Version brachte Verbesserungen bei der Erkennungsgenauigkeit, der Modelleffizienz und der Laufzeitleistung. Dadurch eignen sich Ultralytics YOLO-Modelle zunehmend besser für Edge-Geräte wie Smartphones.

Abb. 2. YOLO26 kann verwendet werden, um mehrere Objekte in einer realen Szene zu erkennen. (Quelle)

Ein wichtiger Vorteil der Verwendung von Ultralytics YOLO-Modellen in iOS-Apps ist die CoreML-Integration, die über das Ultralytics-Python-Paket bereitgestellt wird. Diese Open-Source-Bibliothek unterstützt Entwickler dabei, Ultralytics YOLO-Modelle in einem einfachen Arbeitsablauf zu trainieren, zu testen und zu exportieren.

Das Paket unterstützt den Export trainierter Modelle in CoreML, Apples Format für maschinelles Lernen, das zur Bereitstellung von Modellen auf iOS-Geräten verwendet wird. Nach dem Export lässt sich das CoreML-Modell in eine App integrieren und mithilfe von Hardware wie CPU, GPU und Apple Neural Engine direkt auf dem Gerät ausführen. Ultralytics-Modelle können auch in Apples neueres Format Core AI für iOS 27 und macOS 27 exportiert werden; im Ultralytics iOS SDK bleibt CoreML jedoch das Standardformat.

Abb. 3. CoreML ist Apples Framework zur Integration und Ausführung von KI-Modellen in Apps. (Quelle)

So können Entwickler ganz einfach Objekterkennung in Echtzeit in iOS-Apps integrieren und die Modellinferenz direkt auf dem Gerät ausführen.

Bereitstellungsoptionen für Ultralytics YOLO-Modelle auf Apple Silicon#

Über die Modelle selbst hinaus bietet das Ultralytics-Ökosystem verschiedene Möglichkeiten, die die Bereitstellung von YOLO-Modellen auf Apple-Silicon-Chips erleichtern.

So hat Ultralytics kürzlich die Ultralytics Platform vorgestellt, die Datensatzverwaltung, Modelltraining, Validierung und Bereitstellung in einer einzigen Umgebung vereint. Dieser einheitliche Arbeitsablauf verringert den Bedarf an mehreren Werkzeugen und erleichtert den Weg vom Experimentieren bis zum Einsatz in der Praxis.

Als Teil der Plattform lassen sich trainierte Modelle in mehrere Formate exportieren, darunter CoreML für Apple-Geräte. So kannst du ein Ultralytics YOLO-Modell mit wenigen Klicks für die Inferenz direkt auf dem Gerät exportieren.

Zusätzlich zu den Exportfunktionen bietet Ultralytics eine quelloffene Swift-Implementierung für iOS an (Swift ist Apples Programmiersprache für die Entwicklung von iOS-Apps). Dazu gehört eine sofort einsatzbereite YOLO-iOS-App in Swift, die zeigt, wie sich CoreML-Modelle integrieren, mit Kameraeingaben ausführen und für die Objekterkennung in Echtzeit verwenden lassen.

Weitere Vorteile von Ultralytics YOLO-Modellen#

Hier sind einige weitere wichtige Eigenschaften, die Ultralytics YOLO-Modelle zu einer guten Wahl für die Entwicklung von iOS-Anwendungen machen:

• Unterstützt eine Reihe von Bildverarbeitungsaufgaben: Neben der Objekterkennung lassen sich Ultralytics YOLO-Modelle für Instanzsegmentierung, Bildklassifizierung, Posenschätzung, die Erkennung orientierter Begrenzungsrahmen (OBB) und Objektverfolgung einsetzen. YOLO26 unterstützt außerdem semantische Segmentierung und Tiefenschätzung.
• Mehrere Modellgrößen: Ultralytics stellt verschiedene Modellvarianten bereit (etwa Nano, Small, Medium, Large und Extra-Large), sodass Entwickler eine Version wählen können, die zu den Leistungsgrenzen mobiler Geräte passt.
• Vortrainierte Modelle: Ultralytics YOLO-Modelle sind als vortrainierte Modelle verfügbar, die sofort eingesetzt oder für bestimmte Aufgaben feinabgestimmt werden können. Das verkürzt die Entwicklungszeit.

2. EfficientDet#

EfficientDet ist eine Architektur zur Objekterkennung, die Forschende bei Google 2019 vorgestellt haben. Sie wurde entwickelt, um Erkennungsgenauigkeit und Recheneffizienz auszubalancieren, und eignet sich daher für Umgebungen mit begrenzten Ressourcen. Einen direkten Benchmarkvergleich findest du unter YOLO26 vs. EfficientDet.

Eine zentrale Idee hinter EfficientDet ist ein Skalierungsverfahren namens zusammengesetzte Skalierung. Statt nur einen Modellbereich zu vergrößern, etwa die Netzwerktiefe oder die Bildauflösung, skaliert dieser Ansatz mehrere Architekturkomponenten gemeinsam.

Durch die gleichzeitige Anpassung dieser Elemente behält das Modell eine stabile Leistung bei, unabhängig davon, ob es auf hohe Genauigkeit oder auf einen ressourcenschonenden Einsatz ausgelegt ist.

Die Architektur ist in mehreren Varianten erhältlich, von EfficientDet-D0 bis EfficientDet-D7. Kleinere Modelle sind auf schnellere Inferenz und geringeren Ressourcenverbrauch ausgelegt, während größere Versionen eine höhere Erkennungsgenauigkeit anstreben.

3. MobileNet SSD#

MobileNet SSD ist ein leichtgewichtiges Objekterkennungsmodell, das für den effizienten Einsatz auf mobilen Geräten und Edge-Geräten entwickelt wurde. Um 2017 wurde es populär.

Das Modell kombiniert die MobileNet-Basis, die auf effiziente Merkmalsextraktion ausgelegt ist, mit dem SSD-Ansatz (Einzelschuss-Detektor) zur Objekterkennung. Das SSD-Verfahren erkennt Objekte und erstellt Begrenzungsrahmen in einem einzigen Vorwärtsdurchlauf.

Durch diesen Aufbau ist das Modell relativ schnell und einfach, was für Anwendungen nützlich ist, die schnell Erkennungsergebnisse benötigen. MobileNet SSD wird häufig dort eingesetzt, wo kleine Modelle und schnelle Inferenz wichtig sind.

Die MobileNet-Architektur verringert den erforderlichen Rechenaufwand und erleichtert so die Ausführung des Modells auf Geräten mit begrenzter Rechenleistung. MobileNet SSD erreicht zwar möglicherweise nicht die Genauigkeit einiger neuerer Erkennungsarchitekturen, eignet sich aber weiterhin gut für viele gängige Objekterkennungsaufgaben.

4. CenterNet#

CenterNet ist ein Objekterkennungsmodell, das Objekte anhand ihrer vorhergesagten Mittelpunkte identifiziert. Es wurde 2019 vorgestellt.

Statt zahlreiche mögliche Regionen zu erzeugen, erkennt das Modell den Mittelpunkt eines Objekts und sagt anschließend die Größe des Begrenzungsrahmens darum voraus. Dieser Ansatz vereinfacht die Erkennungspipeline und verringert die Zahl der Inferenzschritte.

Abb. 4. Übersicht über die Phasen der Objekterkennung in CenterNet (Quelle)

CenterNet eignet sich für Erkennungsaufgaben in Echtzeit und ist im Vergleich zu einigen mehrstufigen Erkennungsmodellen für seine relativ einfache Architektur bekannt. Varianten wie CenterNet mit ResNet-Basis werden häufig in verschiedenen Computer-Vision-Anwendungen eingesetzt.

Dank seines effizienten Aufbaus eignet sich CenterNet für Systeme, die eine schnelle Objekterkennung benötigen, darunter Anwendungen auf iOS-Geräten.

5. NanoDet#

NanoDet ist ein leichtgewichtiges Objekterkennungsmodell für Echtzeitanwendungen auf Edge-Geräten und Mobilgeräten. Es wurde 2020 mit dem Ziel vorgestellt, effiziente Objekterkennung bei sehr geringer Modellgröße und niedrigem Rechenbedarf zu ermöglichen.

Das Modell verwendet eine einstufige Erkennungsarchitektur und kann dadurch Objektpositionen und -kategorien in einem einzigen Durchlauf durch das Netzwerk vorhersagen. Dieser Aufbau macht das Modell schnell und für Systeme mit begrenzten Hardwareressourcen geeignet.

NanoDet verwendet eine kompakte Basis und einen optimierten Erkennungskopf, um die Anzahl der Parameter und den Rechenaufwand während der Inferenz zu verringern. Diese Konstruktionsentscheidungen tragen dazu bei, eine angemessene Erkennungsgenauigkeit beizubehalten und zugleich Geschwindigkeit und Effizienz in den Vordergrund zu stellen.

Das richtige Objekterkennungsmodell für deine iOS-App auswählen#

Die Wahl eines Objekterkennungsmodells für eine iOS-App hängt häufig von den spezifischen Anforderungen des Anwendungsfalls ab. Da diese Modelle direkt auf Geräten wie iPhone und iPad laufen, beeinflussen mehrere Faktoren, welche Option am besten geeignet ist.

Hier sind einige wichtige Überlegungen:

• Energieeffizienz: Modelle mit geringerem Stromverbrauch schonen den Akku. Das ist wichtig für mobile Apps, die kontinuierlich Kamerabilder verarbeiten.
• Unterstützung bei der Modelloptimierung: Einige Modelle unterstützen Optimierungsverfahren wie Quantisierung oder Pruning, die die Modellgröße verringern und die Leistung auf iOS-Geräten verbessern können.
• Hardwarekompatibilität: Die von dir gewählte Modellarchitektur sollte effizient auf iOS-Hardware laufen, einschließlich CPU, GPU und Apples Neural Engine.
• Skalierbarkeit: Einige Architekturen bieten mehrere Modellgrößen oder Varianten, sodass Entwickler Versionen auswählen können, die am besten zu den Leistungs- und Hardwareanforderungen passen.

Die wichtigsten Erkenntnisse#

Objekterkennungsmodelle bringen fortschrittliche Computer-Vision-Funktionen in intelligente mobile Apps. Da sie direkt auf iOS-Geräten laufen, können Apps damit Bilder und Videos der Gerätekamera in Echtzeit analysieren. Mit dem passenden Modell können Entwickler reaktionsschnelle, bildverarbeitungsbasierte mobile Apps mit zuverlässiger Echtzeitleistung entwickeln.

Werde Teil unserer wachsenden Community und entdecke unser GitHub-Repository mit praxisnahen KI-Ressourcen. Wenn du heute mit Vision AI entwickeln möchtest, informiere dich über unsere Lizenzoptionen. Erfahre auf unseren Lösungsseiten, wie KI in der Landwirtschaft den Ackerbau verändert und wie Vision AI in der Robotik die Zukunft mitgestaltet.