Bring Ultralytics YOLO11 via CoreML auf Apple-Geräte

Da Apple mit Funktionen wie Apple Intelligence aufwartet, wird deutlich, dass On-Device-KI zu einem zentralen Bestandteil unserer Handynutzung wird. Für Entwickler bedeutet dieser Wandel, dass Anwender vermehrt iOS-Apps nutzen, die Funktionen wie Computer Vision einsetzen, um intelligentere und reaktionsfreudigere Erlebnisse zu bieten.

Computer vision ist eine Form der künstlichen Intelligenz (KI), die es Computern ermöglicht, visuelle Informationen wie Bilder oder Videos zu verstehen und zu analysieren. Auf Mobilgeräten kann sie in Echtzeit eingesetzt werden, um über die Handykamera Objekte zu erkennen, zu klassifizieren und mit ihnen zu interagieren. Vision-KI-Modelle wie Ultralytics YOLO11 können je nach den Anforderungen deiner App individuell trainiert werden, um spezifische Objekte zu erkennen.

Allerdings ist Ultralytics YOLO11 nicht von Haus aus so eingerichtet, dass es auf iOS läuft. Um YOLO11 auf iPhones oder anderen Apple-Geräten bereitzustellen, insbesondere für die Offline-Nutzung, muss es in ein Format konvertiert werden, das für Apples Ökosystem optimiert ist.

Dies ist genau die Art von Problem, für deren Lösung CoreML entwickelt wurde. CoreML ist Apples Framework für maschinelles Lernen, das darauf ausgelegt ist, Modelle lokal auszuführen und sich nahtlos in iOS- und macOS-Anwendungen zu integrieren. Die von Ultralytics unterstützte CoreML integration macht es dir leicht, dein Modell für die lokale Bereitstellung auf iPhones zu exportieren.

In diesem Artikel sehen wir uns genauer an, wie du dein Ultralytics YOLO11-Modell in das CoreML-Format exportieren kannst. Außerdem erkunden wir Echtzeit-Anwendungsfälle, die die Vorteile der Ausführung von Computer-Vision-Modellen direkt auf iOS-Geräten zeigen. Legen wir los!

Was ist CoreML?#

CoreML ist ein von Apple entwickeltes machine learning (ML) framework, das es Entwicklern ermöglicht, trainierte ML-Modelle direkt in Apps im gesamten Apple-Ökosystem zu integrieren, einschließlich iOS (iPhone und iPad), macOS (Mac), watchOS (Apple Watch) und tvOS (Apple TV). Es wurde entwickelt, um maschinelles Lernen auf Apple-Geräten zugänglich und effizient zu machen, indem Modelle direkt auf dem Gerät ausgeführt werden können, ohne dass eine Internetverbindung erforderlich ist.

Das Herzstück von CoreML ist ein einheitliches Modellformat, das eine Vielzahl von KI-Aufgaben wie Bildklassifizierung, Objekterkennung, Spracherkennung und natürliche Sprachverarbeitung unterstützt. Das Framework ist darauf optimiert, die Apple-Hardware optimal zu nutzen, indem es CPU, GPU und ANE (Apple Neural Engine) verwendet, um Modelle schnell und effizient auszuführen.

CoreML unterstützt eine Vielzahl von Modelltypen und ist mit gängigen Machine-Learning-Bibliotheken kompatibel, darunter TensorFlow, PyTorch, scikit-learn, XGBoost und LibSVM. Dies erleichtert es Entwicklern, fortschrittliche ML-Funktionen in Alltags-Apps zu bringen und gleichzeitig einen reibungslosen Ablauf auf Apple-Geräten zu gewährleisten.

Abb. 1. CoreML unterstützt Modelle von anderen beliebten KI-Frameworks (Quelle).

Hauptfunktionen von CoreML#

Hier sind einige der wichtigsten Funktionen, die CoreML zu einem zuverlässigen Werkzeug für die Integration von KI in Apple-Apps machen:

• Model optimization: CoreML unterstützt Komprimierungstechniken wie Quantisierung und Pruning, um die Modellgröße zu reduzieren und die Laufzeiteffizienz zu verbessern.
• On-Device-Personalisierung: Apples ML-Framework unterstützt die lokale Personalisierung, sodass Modelle basierend auf Benutzerinteraktionen vor Ort trainiert und aktualisiert werden können.
• Asynchrone Vorhersagen: Dieses Framework ermöglicht es deiner App, Vorhersagen im Hintergrund auszuführen, wodurch die Benutzeroberfläche flüssig und reaktionsschnell bleibt, während KI-Aufgaben verarbeitet werden.
• Multi-Task-Learning: CoreML unterstützt Modelle, die mehrere Aufgaben gleichzeitig ausführen können, wie z. B. das Erkennen von Objekten und das Erkennen von Text im selben Bild.

Wie du Ultralytics YOLO11 in das CoreML-Format exportierst#

Nachdem wir ein besseres Verständnis des CoreML-Frameworks haben, gehen wir Schritt für Schritt durch, wie du die von Ultralytics unterstützte CoreML-Integration verwendest, um ein YOLO11-Modell in das CoreML-Format zu exportieren.

Schritt 1: Deine Umgebung einrichten#

Um auf die von Ultralytics bereitgestellten Integrationsfunktionen zuzugreifen, installiere zunächst das Ultralytics Python package. Es ist eine leichtgewichtige, benutzerfreundliche Bibliothek, die Aufgaben wie das Trainieren, Evaluieren, Vorhersagen und Exportieren von Ultralytics YOLO-Modellen vereinfacht.

Du kannst das Ultralytics Python-Paket installieren, indem du „pip install ultralytics“ in deinem Terminal ausführst. Wenn du eine Umgebung wie Jupyter Notebook oder Google Colab verwendest, füge ein Ausrufezeichen (!) vor dem Befehl ein: „!pip install ultralytics“.

Wenn du während der Installation oder beim Export nach CoreML auf Probleme stößt, findest du in der offiziellen Dokumentation von Ultralytics oder im Common Issues guide Hilfe.

Schritt 2: Exportieren von Ultralytics YOLO11 nach CoreML#

Sobald das Paket erfolgreich installiert ist, bist du bereit, ein Ultralytics YOLO11-Modell zu laden und es in das CoreML-Format zu konvertieren.

Wenn du dir nicht sicher bist, welches vortrainierte YOLO11-Modell du verwenden sollst, kannst du die Auswahl an models supported von Ultralytics erkunden. Jedes bietet eine andere Balance aus Geschwindigkeit, Größe und Genauigkeit, sodass du die beste Passform für dein Projekt auswählen kannst. Du kannst auch ein benutzerdefiniertes YOLO11-Modell verwenden, wenn du bereits eines mit deinen eigenen Daten trainiert hast.

Im Code-Schnipsel unten wird eine vortrainierte YOLO11-Modelldatei namens „yolo11n.pt“ verwendet. Während des Exportvorgangs wird sie in ein CoreML-Paket namens „yolo11n.mlpackage“ konvertiert.

Das Modell „yolo11n“ ist die Nano-Version, die auf Geschwindigkeit und geringe Ressourcennutzung optimiert ist. Je nach deinen Projektanforderungen kannst du auch andere Modellgrößen wählen, wie „s“ für klein, „m“ für mittel, „l“ für groß oder „x“ für extra groß. Jede Version bietet ein anderes Verhältnis zwischen Leistung und Genauigkeit.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="coreml")

Schritt 3: Inference mit dem exportierten CoreML-Modell ausführen#

Nach dem Export in das CoreML-Format lässt sich Ultralytics YOLO11 einfach in iOS-Anwendungen integrieren, wodurch Echtzeit-Computer-Vision-Aufgaben wie object detection auf Geräten wie iPhones, iPads und Macs ermöglicht werden.

Der folgende Code-Schnipsel zeigt beispielsweise, wie du das exportierte CoreML-Modell lädst und eine Inference ausführst. Inference ist der Prozess, bei dem ein trainiertes Modell verwendet wird, um Vorhersagen auf neuen Daten zu treffen. In diesem Fall analysiert das Modell ein Bild einer Familie, die mit einem Ball spielt.

coreml_model = YOLO("yolo11n.mlpackage")
results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)

Nachdem du den Code ausgeführt hast, wird das Ausgabebild im Ordner „runs/detect/predict“ gespeichert.

Abb. 2: Verwendung eines exportierten Ultralytics YOLO11-Modells im CoreML-Format zur Objekterkennung. Bild vom Autor.

Wo können die exportierten CoreML-Modelle eingesetzt werden?#

Der Export von Ultralytics YOLO11 nach CoreML bietet die Flexibilität, vielfältige Computer-Vision-Anwendungen zu entwickeln, die effizient auf iPhones, iPads und Macs laufen können. Schauen wir uns als Nächstes einige reale Szenarien an, in denen diese Integration besonders nützlich sein kann.

Augmented Reality- und Gaming-Apps mit CoreML-Modellen#

Augmented reality (AR) verbindet digitale Inhalte mit der realen Welt, indem virtuelle Elemente über Live-Kamerabilder gelegt werden. Sie entwickelt sich zu einem zentralen Bestandteil des mobilen Gamings und sorgt für interaktivere und immersivere Erlebnisse.

Mit dem nach CoreML exportierten Ultralytics YOLO11 können iOS-Entwickler AR-Spiele entwickeln, die reale Objekte wie Bänke, Bäume oder Schildern mithilfe der Telefonkamera erkennen. Das Spiel kann dann virtuelle Gegenstände wie Münzen, Hinweise oder Kreaturen über diese Objekte legen, um die Umgebung des Spielers zu bereichern.

Hinter den Kulissen funktioniert dies durch Objekterkennung und Objektverfolgung. Ultralytics YOLO11 erkennt und identifiziert Objekte in Echtzeit, während die Tracking-Funktion diese Objekte im Blick behält, während sich die Kamera bewegt, sodass die virtuellen Elemente stets an der realen Welt ausgerichtet bleiben.

Spieler können ihre Telefone ausrichten, ihre Umgebung erkunden und mit dem Gesehenen interagieren, um Gegenstände zu sammeln oder schnelle Herausforderungen abzuschließen. All dies kann direkt auf dem Gerät ohne Internetverbindung ausgeführt werden, was das Erlebnis flüssig und ansprechend macht.

iOS-Apps mit CoreML-Modellen für Echtzeit-ANPR#

Automatic Number Plate Recognition (ANPR) ist eine Computer-Vision-Anwendung, die verwendet wird, um KFZ-Kennzeichen zu erkennen und zu lesen. Sie wird häufig in Sicherheits-, Verkehrsüberwachungs- und Zutrittskontrollsystemen eingesetzt. Mit CoreML und Modellen wie YOLO11 kann ANPR nun effizient auf iOS-Geräten ausgeführt werden.

Eine ANPR-App auf deinem iPhone kann besonders in sicherheitskritischen Umgebungen nützlich sein. Sie kann beispielsweise Teams dabei helfen, schnell festzustellen, ob ein Fahrzeug, das in einen gesperrten Bereich einfährt, dazu berechtigt ist oder nicht.

Eine solche App kann ein Vision-KI-Modell wie Ultralytics YOLO11 nutzen, das über CoreML integriert ist, um Fahrzeuge zu erkennen und deren Nummernschilder in Echtzeit mit der Gerätekamera zu lokalisieren. Sobald ein Schild erkannt wird, kann die Technologie der optischen Zeichenerkennung (OCR) das Kennzeichen lesen. Die App kann diese Nummer dann mit einer lokalen oder Cloud-basierten Datenbank abgleichen, um den Zugang zu verifizieren oder unbefugte Fahrzeuge zu kennzeichnen.

Abb. 3. Vision-KI kann verwendet werden, um Kennzeichennummern zu erkennen und zu lesen. (Quelle).

Apps für Barrierefreiheit können von CoreML-Modellen profitieren#

KI hat einen riesigen Einfluss auf accessibility und hilft dabei, Barrieren für Menschen mit Sehbehinderten abzubauen. Mit Tools wie CoreML und Computer-Vision-Modellen wie Ultralytics YOLO11 können Entwickler iOS-Apps erstellen, die die Welt um die Nutzer herum in Echtzeit beschreiben und so alltägliche Aufgaben einfacher und unabhängiger gestalten.

Ein sehbehinderter Mensch kann beispielsweise die Kamera seines iPhones auf seine Umgebung richten. Die App nutzt Objekterkennung, um wichtige Elemente wie Fahrzeuge, Personen oder Straßenschilder zu identifizieren und sie zu benennen. Dies kann in Situationen wie dem Navigieren durch eine belebte Straße oder in Notfällen sehr hilfreich sein.

Abb. 4: Ein Beispiel für die Verwendung von Ultralytics YOLO11 zur Erkennung von Personen

Wichtige Erkenntnisse#

Der Export von Ultralytics YOLO11 in das CoreML-Format schafft neue Möglichkeiten für Echtzeit-Anwendungen, einschließlich der Offline-Objekterkennung auf iOS-Geräten. Von Landwirtschaft und Sicherheit bis hin zu Barrierefreiheit ermöglicht diese Kombination Entwicklern die Erstellung intelligenter, effizienter und datenschutzorientierter Apps, die vollständig auf dem Gerät laufen.

Mit nur wenigen einfachen Schritten kannst du dein Ultralytics YOLO11-Modell konvertieren und iPhones um zuverlässige Computer-Vision-Funktionen erweitern. Das Beste daran: Es funktioniert ohne Internetverbindung. Insgesamt bringt die CoreML-Integration die Leistung fortschrittlicher KI in alltägliche mobile Apps, wodurch diese schneller, reaktionsschneller und überall einsatzbereit werden.

Möchtest du mehr über KI erfahren? Erkunde unser GitHub repository, vernetze dich mit our community und schau dir our licensing options an, um dein Computer-Vision-Projekt zu starten. Erfahre auf unseren Lösungsseiten, wie Innovationen wie AI in retail und computer vision in logistics die Zukunft gestalten.