Die besten Objekterkennungsmodelle für iOS-Apps auf Apple Silicon Chips

Android-Geräte und iPhones sind aus unserem Alltag nicht mehr wegzudenken. Menschen nutzen sie, um einzukaufen, zu navigieren, Fotos zu machen, Produkte zu scannen und den ganzen Tag über mit Apps zu interagieren.

Mit dem rasanten Wachstum der künstlichen Intelligenz verfügen viele Smartphones heute über Funktionen, die Bilder und Videos verstehen können, die mit der Kamera des Geräts aufgenommen wurden. Die Fähigkeit, diese Funktionen effizient auszuführen, hängt weitgehend von der zugrunde liegenden Hardware ab.

Im Apple-Ökosystem werden Geräte wie iPhones, iPads und Macs beispielsweise von Apple Silicon Chips angetrieben, einschließlich der A-Serie und der M-Serie. Diese System-on-a-Chip-Designs (SoC) integrieren Zentraleinheiten (CPU), Grafikprozessoren (GPU) und dedizierte Beschleuniger für maschinelles Lernen, was die Inferenz auf dem Gerät für KI-Workloads ermöglicht.

Insbesondere die Möglichkeiten der Bildanalyse werden durch Computer Vision ermöglicht, ein KI-Bereich, der es Maschinen erlaubt, visuelle Informationen aus Bildern und Videos mithilfe von Aufgaben wie Objekterkennung zu interpretieren und zu verstehen.

Konkret analysieren Objekterkennungsmodelle Bilder und identifizieren Objekte, indem sie Begrenzungsrahmen (Bounding Boxes) um sie herum zeichnen. Diese Modelle können so optimiert werden, dass sie effizient auf mobiler Hardware wie Apple Silicon Chips laufen und eine visuelle Echtzeitanalyse direkt auf dem Gerät auf iOS-Systemen ermöglichen.

Abb. 1: Ein Beispiel für Objekterkennung, bei dem Objekte durch Bounding Boxes identifiziert werden. (Quelle)

In diesem Artikel stellen wir einige der besten Objekterkennungsmodelle für die Entwicklung schneller iOS-Apps in Echtzeit vor. Fangen wir an!

Link to this sectionWie Objekterkenner auf iOS-Geräten funktionieren#

Die Objekterkennung unterstützt Apps dabei, Objekte in einem Bild zu erkennen und zu lokalisieren. Wenn eine App ein Eingabebild verarbeitet, kann ein Objekterkennungsmodell die Szene analysieren und verschiedene Objekte identifizieren, indem es Bounding Boxes um sie legt und Beschriftungen zuweist.

Die meisten Objekterkennungssysteme basieren auf neuronalen Netzen, die Muster in Trainingsdaten erkennen können. Für Bildaufgaben lernen diese Modelle visuelle Repräsentationen durch die Analyse von Informationen auf Pixelebene aus großen Trainingsdatensätzen.

Convolutional Neural Networks (CNNs) werden häufig als Rückgrat für Objekterkennungsmodelle verwendet. CNNs eignen sich hervorragend für Bildvorhersagen, da sie hierarchische visuelle Merkmale wie Kanten, Formen und Texturen erlernen, die dem Modell helfen, Objekte innerhalb einer Szene zu erkennen.

Forscher erforschen auch Transformer-basierte Architekturen für Computer-Vision-Aufgaben. Diese Modelle analysieren Beziehungen zwischen verschiedenen Bereichen eines Bildes und erfassen umfassendere kontextuelle Informationen über die gesamte Szene hinweg.

Neben der Art der Modellarchitektur ist Effizienz ein entscheidender Faktor für die Objekterkennung auf iOS-Geräten. Da diese Modelle direkt auf Mobilgeräten laufen, müssen sie Bilder schnell verarbeiten und dabei begrenzte Rechenressourcen nutzen.

Effiziente Modelle halten die Latenz niedrig und unterstützen die Objekterkennung in Echtzeit in mobilen Apps, insbesondere bei der Analyse kontinuierlicher Kameraeingaben.

Link to this sectionWas macht ein Objekterkennungsmodell für iOS geeignet?#

Bevor wir uns einige der besten Objekterkennungsmodelle für iOS ansehen, treten wir einen Schritt zurück und schauen uns an, was ein Modell für mobile Anwendungen großartig macht.

Das ideale Objekterkennungsmodell für eine iOS-App bringt Leistung, Effizienz und Zuverlässigkeit in Einklang. Hier sind einige Schlüsselfaktoren, die ein starkes Modell für die Bereitstellung auf iOS definieren:

• Niedrige Latenz: Das Modell sollte Bilder schnell verarbeiten, um eine Objekterkennung in Echtzeit zu unterstützen, insbesondere für Anwendungen, die auf kontinuierliche Kameraeingaben angewiesen sind.
• Effiziente Modellgröße: Kompakte Modelle laufen effizienter auf Mobilgeräten und benötigen in der Regel weniger Speicher und Rechenleistung.
• Erkennungsgenauigkeit: Eine genaue Erkennung stellt sicher, dass Objekte korrekt klassifiziert werden und die Bounding Boxes über verschiedene Szenen, Objektgrößen und Lichtverhältnisse hinweg präzise bleiben.
• Inferenzstabilität: Eine konstante Inferenzzeit über Frames hinweg ist wichtig für Echtzeitanwendungen. Große Schwankungen in der Verarbeitungszeit können zu Frame-Drops oder einer instabilen Kameraerfahrung führen.
• Speicherbedarf: Die Menge an RAM, die während der Inferenz benötigt wird, beeinflusst, wie reibungslos ein Modell neben anderen App-Prozessen auf iOS-Geräten läuft.

Link to this sectionEin Blick auf die besten Objekterkennungsmodelle für iOS#

Als Nächstes werfen wir einen Blick auf einige der am häufigsten verwendeten Objekterkennungsmodelle für iOS-Geräte.

Link to this sectionUltralytics YOLO Modelle#

Ultralytics YOLO Modelle sind eine beliebte Familie von Objekterkennungsmodellen, die für Computer-Vision-Echtzeitanwendungen entwickelt wurden. Über die Jahre hat Ultralytics Vision-Modelle wie Ultralytics YOLOv5, Ultralytics YOLOv8, Ultralytics YOLO11 und das neueste State-of-the-Art-Modell, Ultralytics YOLO26, veröffentlicht.

Jede neue Version brachte Verbesserungen bei der Erkennungsgenauigkeit, der Modelleffizienz und der Laufzeitleistung. Diese Updates haben Ultralytics YOLO Modelle zunehmend für Edge-Geräte wie Smartphones geeignet gemacht.

Abb. 2: YOLO26 kann verwendet werden, um mehrere Objekte in einer realen Szene zu erkennen. (Quelle)

Einer der Hauptvorteile der Verwendung von Ultralytics YOLO Modellen für iOS-Apps ist die CoreML-Integration, die über das Ultralytics Python Paket bereitgestellt wird. Diese Open-Source-Bibliothek hilft Entwicklern dabei, Ultralytics YOLO Modelle mit einem einfachen Workflow zu trainieren, zu testen und zu exportieren.

Das Paket unterstützt den Export trainierter Modelle nach CoreML, dem maschinellen Lernformat von Apple, das für die Bereitstellung von Modellen auf iOS-Geräten verwendet wird. Nach dem Export kann das CoreML-Modell in eine App integriert und direkt auf dem Gerät unter Verwendung von Hardware wie CPU, GPU und der Apple Neural Engine ausgeführt werden.

Abb. 3: CoreML ist Apples Framework für die Integration und Ausführung von KI-Modellen innerhalb von Apps. (Quelle)

Dies macht es für Entwickler unkompliziert, eine Objekterkennung in Echtzeit in iOS-Apps zu integrieren, während die Modellinferenz direkt auf dem Gerät verbleibt.

Link to this sectionBereitstellungsoptionen für Ultralytics YOLO Modelle auf Apple Silicon#

Über die Modelle selbst hinaus bietet das Ultralytics-Ökosystem eine Reihe von Optionen, die die Bereitstellung von YOLO Modellen auf Apple Silicon Chips erleichtern.

Beispielsweise hat Ultralytics kürzlich die Ultralytics Platform eingeführt, die Datensatzmanagement, Modelltraining, Validierung und Bereitstellung in einer einzigen Umgebung zusammenführt. Dieser einheitliche Workflow reduziert den Bedarf an mehreren Tools und hilft dabei, den Weg vom Experiment bis zur realen Anwendung zu optimieren.

Als Teil der Plattform können trainierte Modelle in verschiedene Formate exportiert werden, einschließlich CoreML für Apple-Geräte. Dadurch ist es möglich, ein Ultralytics YOLO Modell für die Inferenz auf dem Gerät mit nur wenigen Klicks zu exportieren.

Zusätzlich zu den Exportfunktionen bietet Ultralytics eine Open-Source-Swift-Implementierung (Apples Programmiersprache für iOS-Apps) für iOS. Dazu gehört eine gebrauchsfertige YOLO iOS-App in Swift, die demonstriert, wie CoreML-Modelle integriert, auf Kameraeingaben ausgeführt und für die Echtzeit-Objekterkennung verwendet werden können.

Link to this sectionWeitere Vorteile von Ultralytics YOLO Modellen#

Hier sind einige weitere Hauptmerkmale, die Ultralytics YOLO Modelle zu einer großartigen Option für die Entwicklung von iOS-Anwendungen machen:

• Unterstützt eine Reihe von Vision-Aufgaben: Neben der Objekterkennung können Ultralytics YOLO Modelle für Instanzsegmentierung, Pose-Schätzung, Objektverfolgung, orientierte Bounding-Box-Erkennung (OBB) und Bildklassifizierung verwendet werden.
• Mehrere Modellgrößen: Ultralytics bietet verschiedene Modellvarianten (wie Nano, Small, Medium, Large und Extra-Large) an, die es Entwicklern ermöglichen, eine Version zu wählen, die zu den Leistungsbeschränkungen mobiler Geräte passt.
• Vortrainierte Modelle: Die Ultralytics YOLO Modelle sind als vortrainierte Modelle verfügbar, die sofort einsatzbereit oder für spezifische Aufgaben feinabgestimmt werden können, was die Entwicklungszeit verkürzt.

Link to this sectionEfficientDet#

EfficientDet ist eine Architektur zur Objekterkennung, die 2019 von Forschern bei Google eingeführt wurde. Sie wurde entwickelt, um Erkennungsgenauigkeit und Recheneffizienz in Einklang zu bringen, was sie für Umgebungen mit begrenzten Ressourcen geeignet macht.

Eine Schlüsselidee hinter EfficientDet ist eine Skalierungsmethode namens Compound Scaling. Anstatt nur einen Teil des Modells zu vergrößern, wie etwa die Netzwerktiefe oder die Bildauflösung, skaliert dieser Ansatz mehrere Komponenten der Architektur zusammen.

Durch die gleichzeitige Anpassung dieser Elemente behält das Modell eine stabile Leistung bei, unabhängig davon, ob es für hohe Genauigkeit konfiguriert oder für leichtgewichtige Bereitstellungen optimiert wurde.

Die Architektur ist in verschiedenen Varianten erhältlich, von EfficientDet-D0 bis EfficientDet-D7. Kleinere Modelle sind auf schnellere Inferenz und geringere Ressourcennutzung ausgelegt, während größere Versionen auf eine höhere Erkennungsgenauigkeit abzielen.

Link to this sectionMobileNet SSD#

MobileNet SSD ist ein leichtgewichtiges Objekterkennungsmodell, das für den effizienten Betrieb auf Mobil- und Edge-Geräten entwickelt wurde. Es gewann um 2017 an Popularität.

Das Modell kombiniert das MobileNet-Backbone, das sich auf effiziente Merkmalsextraktion konzentriert, mit dem SSD-Ansatz (Single Shot Detector) zur Erkennung von Objekten. Die SSD-Methode erkennt Objekte und generiert Bounding Boxes in einem einzigen Durchlauf.

Dieses Design hält das Modell relativ schnell und einfach, was für Anwendungen nützlich ist, die schnelle Erkennungsergebnisse benötigen. MobileNet SSD wird oft in Situationen eingesetzt, in denen kleinere Modellgrößen und schnellere Inferenzgeschwindigkeiten wichtig sind.

Die MobileNet-Architektur reduziert den Rechenaufwand, was es einfacher macht, das Modell auf Geräten mit begrenzter Prozessorleistung auszuführen. Obwohl MobileNet SSD möglicherweise nicht das gleiche Genauigkeitsniveau wie einige neuere Erkennungsarchitekturen erreicht, erzielt es für viele gängige Objekterkennungsaufgaben immer noch gute Ergebnisse.

Link to this sectionCenterNet#

CenterNet ist ein Objekterkennungsmodell, das Objekte durch die Vorhersage ihrer Mittelpunkte identifiziert. Es wurde 2019 eingeführt.

Anstatt viele Kandidatenregionen zu generieren, erkennt das Modell den Mittelpunkt eines Objekts und sagt dann die Größe des umgebenden Bounding Box vorher. Dieser Ansatz vereinfacht die Erkennungspipeline und reduziert die Anzahl der Schritte, die während der Inferenz erforderlich sind.

Abb. 4: Ein Überblick über die Stadien der Objekterkennung in CenterNet (Quelle)

CenterNet kann für Echtzeit-Erkennungsaufgaben verwendet werden und ist für seine vergleichsweise einfache Architektur im Vergleich zu einigen mehrstufigen Detektoren bekannt. Varianten wie CenterNet mit ResNet-Backbones werden häufig in verschiedenen Computer-Vision-Anwendungen eingesetzt.

Sein effizientes Design macht CenterNet geeignet für Systeme, die eine schnelle Objekterkennung benötigen, einschließlich Anwendungen, die auf iOS-Geräten laufen.

Link to this sectionNanoDet#

NanoDet ist ein leichtgewichtiges Objekterkennungsmodell, das für Echtzeitanwendungen auf Edge- und Mobilgeräten entwickelt wurde. Es wurde 2020 mit dem Ziel eingeführt, eine effiziente Objekterkennung zu ermöglichen und dabei Modellgröße und Rechenanforderungen sehr gering zu halten.

Das Modell verwendet eine einstufige Erkennungsarchitektur, die es ermöglicht, Objektstandorte und Kategorien in einem einzigen Durchgang durch das Netzwerk vorherzusagen. Dieses Design hält das Modell schnell und geeignet für Systeme mit begrenzten Hardwareressourcen.

NanoDet verwendet ein kompaktes Backbone und einen optimierten Erkennungskopf, um die Anzahl der Parameter und Berechnungen während der Inferenz zu reduzieren. Diese Designentscheidungen tragen dazu bei, eine angemessene Erkennungsgenauigkeit beizubehalten und gleichzeitig Geschwindigkeit und Effizienz zu priorisieren.

Link to this sectionWahl des richtigen Objekterkennungsmodells für deine iOS-App#

Die Auswahl eines Objekterkennungsmodells für eine iOS-App hängt oft von den spezifischen Anforderungen des Anwendungsfalls ab. Da diese Modelle direkt auf Geräten wie iPhone und iPad laufen, beeinflussen mehrere Faktoren, welche Option am besten funktioniert.

Hier sind einige wichtige Überlegungen:

• Energieeffizienz: Modelle, die weniger Strom verbrauchen, tragen dazu bei, die Akkulaufzeit zu verlängern, was für mobile Apps, die eine kontinuierliche Kameraverarbeitung durchführen, wichtig ist.
• Unterstützung für Modelloptimierung: Einige Modelle unterstützen Optimierungstechniken wie Quantisierung oder Pruning, die die Modellgröße reduzieren und die Leistung auf iOS-Geräten verbessern können.
• Hardware-Kompatibilität: Die von dir gewählte Modellarchitektur sollte effizient auf der iOS-Hardware laufen, einschließlich CPU, GPU und Apples Neural Engine.
• Skalierbarkeit: Einige Architekturen bieten mehrere Modellgrößen oder Varianten an, was es Entwicklern ermöglicht, Versionen zu wählen, die am besten zu den Leistungs- und Hardwareanforderungen passen.

Link to this sectionWichtige Erkenntnisse#

Objekterkennungsmodelle bringen fortschrittliche Computer-Vision-Fähigkeiten in intelligente mobile Apps. Da diese Modelle direkt auf iOS-Geräten laufen, ermöglichen sie es Apps, Bilder und Videos von der Kamera des Geräts in Echtzeit zu analysieren. Durch die Wahl des richtigen Modells können Entwickler reaktionsschnelle, visionsbasierte mobile Apps erstellen, die zuverlässige Echtzeitleistung liefern.

Werde Teil unserer wachsenden Community und erkunde unser GitHub-Repository für praxisnahe KI-Ressourcen. Um noch heute mit Vision-KI zu bauen, erkunde unsere Lizenzoptionen. Erfahre, wie KI in der Landwirtschaft die Landwirtschaft verändert und wie Vision-KI in der Robotik die Zukunft gestaltet, indem du unsere Lösungsseiten besuchst.