Ultralytics YOLO11 über CoreML auf Apple-Geräte bringen

Mit der Einführung von Funktionen wie Apple Intelligence wird deutlich, dass KI auf dem Gerät zu einem zentralen Bestandteil der Nutzung unserer Smartphones wird. Für Entwickler bedeutet dieser Wandel, dass Nutzer iOS-Apps einsetzen, die Fähigkeiten wie Computer Vision nutzen, um intelligentere und reaktionsschnellere Erlebnisse zu bieten.

Computer Vision ist eine Form der künstlichen Intelligenz (AI), die es Computern ermöglicht, visuelle Informationen wie Bilder oder Videos zu verstehen und zu analysieren. Auf Mobilgeräten kann sie in Echtzeit eingesetzt werden, um Objekte über die Kamera des Smartphones zu erkennen, zu klassifizieren und mit ihnen zu interagieren. Vision-AI-Modelle wie Ultralytics YOLO11 können abhängig von den Anforderungen deiner App gezielt darauf trainiert werden, bestimmte Objekte zu erkennen.

Ultralytics YOLO11 ist jedoch nicht sofort für die Ausführung unter iOS eingerichtet. Um YOLO11 auf iPhones oder anderen Apple-Geräten bereitzustellen, insbesondere für die Offline-Nutzung, muss es in ein für das Apple-Ökosystem optimiertes Format konvertiert werden.

Genau dieses Problem soll CoreML lösen. CoreML ist Apples Framework für maschinelles Lernen, das dafür entwickelt wurde, Modelle lokal auszuführen und nahtlos in iOS- und macOS-Anwendungen zu integrieren. Die von Ultralytics unterstützte CoreML-Integration erleichtert den Export deines Modells für die lokale Bereitstellung auf iPhones.

In diesem Artikel sehen wir uns genauer an, wie du dein Ultralytics YOLO11-Modell in das CoreML-Format exportierst. Außerdem untersuchen wir Anwendungsfälle in Echtzeit, die die Vorteile der direkten Ausführung von Computer-Vision-Modellen auf iOS-Geräten zeigen. Los geht’s!

Was ist CoreML?#

CoreML ist ein von Apple entwickeltes Framework für maschinelles Lernen (ML), mit dem Entwickler trainierte ML-Modelle direkt in Apps im gesamten Apple-Ökosystem integrieren können, einschließlich iOS (iPhone und iPad), macOS (Mac), watchOS (Apple Watch) und tvOS (Apple TV). Es wurde entwickelt, um maschinelles Lernen auf Apple-Geräten zugänglich und effizient zu machen, indem Modelle direkt auf dem Gerät ausgeführt werden können, ohne dass eine Internetverbindung erforderlich ist.

Im Kern basiert CoreML auf einem einheitlichen Modellformat, das eine Vielzahl von KI-Aufgaben wie Bildklassifizierung, Objekterkennung, Spracherkennung und die Verarbeitung natürlicher Sprache unterstützt. Das Framework ist darauf optimiert, die Hardware von Apple bestmöglich zu nutzen, und führt Modelle mithilfe von CPU (Zentraleinheit), GPU (Grafikprozessoreinheit) und ANE (Apple Neural Engine) schnell und effizient aus.

CoreML unterstützt verschiedene Modelltypen und ist mit gängigen Bibliotheken für maschinelles Lernen kompatibel, darunter TensorFlow, PyTorch, scikit-learn, XGBoost und LibSVM. Dadurch können Entwickler fortschrittliche ML-Funktionen leichter in alltägliche Apps integrieren und gleichzeitig sicherstellen, dass diese auf Apple-Geräten reibungslos ausgeführt werden.

Abb. 1. CoreML unterstützt Modelle aus anderen beliebten KI-Frameworks (Quelle).

Wichtige Funktionen von CoreML#

Hier sind einige der wichtigsten Funktionen, die CoreML zu einem zuverlässigen Werkzeug für die Integration von KI in Apple-Apps machen:

• Modelloptimierung: CoreML unterstützt Komprimierungstechniken wie Quantisierung und Pruning, um die Modellgröße zu reduzieren und die Effizienz zur Laufzeit zu verbessern.
• Personalisierung auf dem Gerät: Das ML-Framework von Apple unterstützt die Personalisierung auf dem Gerät, sodass Modelle lokal auf Grundlage von Nutzerinteraktionen trainiert und aktualisiert werden können.
• Asynchrone Vorhersagen: Mit diesem Framework kann deine App Vorhersagen im Hintergrund ausführen, sodass die Benutzeroberfläche bei der Verarbeitung von KI-Aufgaben flüssig und reaktionsschnell bleibt.
• Multitasking-Lernen: CoreML unterstützt Modelle, die mehrere Aufgaben gleichzeitig ausführen können, etwa Objekte erkennen und Text im selben Bild lesen.

Ultralytics YOLO11 in das CoreML-Format exportieren#

Nachdem wir nun ein besseres Verständnis des CoreML-Frameworks haben, sehen wir uns an, wie du die von Ultralytics unterstützte CoreML-Integration verwendest, um ein YOLO11-Modell in das CoreML-Format zu exportieren.

Schritt 1: Deine Umgebung einrichten#

Um auf die von Ultralytics bereitgestellten Integrationsfunktionen zuzugreifen, installiere zunächst das Ultralytics Python-Paket. Es ist eine schlanke und einfach zu verwendende Bibliothek, die Aufgaben wie das Trainieren, Evaluieren, Vorhersagen und Exportieren von Ultralytics-YOLO-Modellen vereinfacht.

Du kannst das Ultralytics Python-Paket installieren, indem du „pip install ultralytics“ in deinem Terminal ausführst. Wenn du eine Umgebung wie Jupyter Notebook oder Google Colab verwendest, setze ein Ausrufezeichen (!) vor den Befehl: „!pip install ultralytics“.

Falls bei der Installation oder beim Export nach CoreML Probleme auftreten, findest du Hilfe in der offiziellen Dokumentation von Ultralytics oder im Leitfaden zu häufigen Problemen.

Schritt 2: Ultralytics YOLO11 nach CoreML exportieren#

Sobald das Paket erfolgreich installiert ist, kannst du ein Ultralytics YOLO11-Modell laden und in das CoreML-Format konvertieren.

Wenn du nicht sicher bist, welches vortrainierte YOLO11-Modell du verwenden solltest, kannst du die von Ultralytics unterstützten Modelle durchsuchen. Jedes Modell bietet ein anderes Verhältnis von Geschwindigkeit, Größe und Genauigkeit, sodass du die beste Option für dein Projekt auswählen kannst. Du kannst auch ein benutzerdefiniert trainiertes YOLO11-Modell verwenden, wenn du eines mit deinem eigenen Datensatz trainiert hast.

Im folgenden Codeausschnitt wird eine vortrainierte YOLO11-Modelldatei namens "yolo11n.pt" verwendet. Während des Exportvorgangs wird sie in ein CoreML-Paket namens "yolo11n.mlpackage" konvertiert.

Das Modell "yolo11n" ist die Nano-Variante und für hohe Geschwindigkeit sowie einen geringen Ressourcenverbrauch optimiert. Je nach den Anforderungen deines Projekts kannst du auch andere Modellgrößen wählen, etwa "s" für klein, "m" für mittel, "l" für groß oder "x" für extra groß. Jede Variante bietet ein anderes Verhältnis von Leistung und Genauigkeit.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="coreml")

Schritt 3: Inferenz mit dem exportierten CoreML-Modell ausführen#

Nach dem Export in das CoreML-Format lässt sich Ultralytics YOLO11 problemlos in iOS-Anwendungen integrieren und ermöglicht Computer-Vision-Aufgaben in Echtzeit, etwa Objekterkennung auf Geräten wie iPhones, iPads und Macs.

Der folgende Codeausschnitt zeigt beispielsweise, wie das exportierte CoreML-Modell geladen und eine Inferenz ausgeführt wird. Inferenz bezeichnet den Prozess, mit einem trainierten Modell Vorhersagen für neue Daten zu erstellen. In diesem Fall analysiert das Modell ein Bild einer Familie, die mit einem Ball spielt.

coreml_model = YOLO("yolo11n.mlpackage")
results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)

Nach der Ausführung des Codes wird das Ausgabebild im Ordner "runs/detect/predict" gespeichert.

Abb. 2. Verwendung eines exportierten Ultralytics YOLO11-Modells im CoreML-Format zur Objekterkennung. Bild vom Autor.

Wo können exportierte CoreML-Modelle eingesetzt werden?#

Der Export von Ultralytics YOLO11 nach CoreML bietet die Flexibilität, vielfältige Computer-Vision-Anwendungen zu entwickeln, die effizient auf iPhones, iPads und Macs ausgeführt werden können. Sehen wir uns nun einige praxisnahe Szenarien an, in denen diese Integration besonders nützlich sein kann.

Augmented-Reality- und Spiele-Apps mit CoreML-Modellen#

Erweiterte Realität (AR) verbindet digitale Inhalte mit der realen Welt, indem virtuelle Elemente über Live-Kamerabilder gelegt werden. Sie wird zunehmend zu einem wichtigen Bestandteil des mobilen Spielens und schafft interaktivere und immersivere Erlebnisse.

Mit Ultralytics YOLO11, das in das CoreML-Format exportiert wurde, können iOS-Entwickler AR-Spiele entwickeln, die mithilfe der Smartphone-Kamera reale Objekte wie Bänke, Bäume oder Schilder erkennen. Das Spiel kann anschließend virtuelle Elemente wie Münzen, Hinweise oder Kreaturen über diesen Objekten einblenden und so die Umgebung des Spielers erweitern.

Im Hintergrund funktioniert dies mithilfe von Objekterkennung und Objektverfolgung. Ultralytics YOLO11 erkennt und identifiziert Objekte in Echtzeit, während die Verfolgung diese Objekte im Blick behält, wenn sich die Kamera bewegt, und dafür sorgt, dass die virtuellen Elemente an der realen Welt ausgerichtet bleiben.

Spieler können ihre Smartphones ausrichten, ihre Umgebung erkunden und mit dem Gesehenen interagieren, um Gegenstände zu sammeln oder kurze Herausforderungen zu bewältigen. All dies kann direkt auf dem Gerät und ohne Internetverbindung ausgeführt werden, wodurch das Erlebnis flüssig und ansprechend bleibt.

Mit CoreML-Modellen integrierte iOS-Apps für ANPR in Echtzeit#

Automatische Kennzeichenerkennung (ANPR) ist eine Computer-Vision-Anwendung zur Erkennung und zum Lesen von Kfz-Kennzeichen. Sie wird häufig in Sicherheits-, Verkehrsüberwachungs- und Zutrittskontrollsystemen eingesetzt. Mit CoreML und Modellen wie YOLO11 kann ANPR nun effizient auf iOS-Geräten ausgeführt werden.

Eine ANPR-App auf deinem iPhone kann in sicherheitsorientierten Umgebungen besonders nützlich sein. Sie kann Teams beispielsweise dabei helfen, schnell festzustellen, ob ein Fahrzeug, das in einen gesperrten Bereich einfährt, dazu berechtigt ist.

Eine solche App kann ein Vision-AI-Modell wie Ultralytics YOLO11 verwenden, das über CoreML integriert ist, um Fahrzeuge zu erkennen und ihre Kennzeichen in Echtzeit mit der Gerätekamera zu lokalisieren. Sobald ein Kennzeichen erkannt wurde, kann die Technologie zur optischen Zeichenerkennung (OCR) die Kennzeichennummer lesen. Anschließend kann die App diese Nummer mit einer lokalen oder cloudbasierten Datenbank abgleichen, um den Zutritt zu überprüfen oder nicht autorisierte Fahrzeuge zu melden.

Abb. 3. Vision AI kann zur Erkennung und zum Lesen von Kennzeichennummern eingesetzt werden. (Quelle).

Apps mit Fokus auf Barrierefreiheit können CoreML-Modelle nutzen#

KI hat einen enormen Einfluss auf die Barrierefreiheit und trägt dazu bei, Hindernisse für Menschen mit Seheinschränkungen abzubauen. Mit Tools wie CoreML und Computer-Vision-Modellen wie Ultralytics YOLO11 können Entwickler iOS-Apps entwickeln, die Nutzern ihre Umgebung in Echtzeit beschreiben und dadurch alltägliche Aufgaben einfacher und selbstständiger machen.

Eine sehbehinderte Person kann beispielsweise die Kamera ihres iPhones auf ihre Umgebung richten. Die App verwendet Objekterkennung, um wichtige Elemente wie Fahrzeuge, Menschen oder Straßenschilder zu erkennen, und beschreibt, was sie sieht. Dies kann in Situationen wie dem Navigieren durch eine belebte Straße oder dem Erfassen eines Notfalls eingesetzt werden.

Abb. 4. Ein Beispiel für die Verwendung von Ultralytics YOLO11 zur Erkennung von Personen

Wichtige Erkenntnisse#

Der Export von Ultralytics YOLO11 in das CoreML-Format eröffnet neue Möglichkeiten für Echtzeitanwendungen, einschließlich der Offline-Objekterkennung auf iOS-Geräten. Von der Landwirtschaft und Sicherheit bis hin zur Barrierefreiheit ermöglicht diese Kombination die Entwicklung intelligenter, effizienter und datenschutzorientierter Apps, die vollständig auf dem Gerät ausgeführt werden.

Mit nur wenigen einfachen Schritten kannst du dein Ultralytics YOLO11-Modell konvertieren und iPhones um zuverlässige Computer-Vision-Funktionen erweitern. Besonders praktisch ist, dass dafür keine Internetverbindung erforderlich ist. Insgesamt bringt die CoreML-Integration die Leistungsfähigkeit fortschrittlicher KI in alltägliche mobile Apps und macht sie schneller, reaktionsschneller und überall einsetzbar.

Möchtest du mehr über KI erfahren? Entdecke unser GitHub-Repository, tausche dich mit unserer Community aus und informiere dich über unsere Lizenzoptionen, um dein Computer-Vision-Projekt zu starten. Erfahre auf unseren Lösungsseiten, wie Innovationen wie KI im Einzelhandel und Computer Vision in der Logistik die Zukunft gestalten.