Ultralytics YOLO11 mit CoreML auf Apple-Geräte bringen

Da Apple Funktionen wie Apple Intelligence einführt, wird deutlich, dass KI direkt auf dem Gerät immer wichtiger für die Nutzung unserer Smartphones wird. Für Entwickler bedeutet dieser Wandel, dass Nutzer zunehmend iOS-Apps einsetzen, die Funktionen wie Computer Vision nutzen, um intelligentere und reaktionsschnellere Erlebnisse zu bieten.

Computer Vision ist eine Form der künstlichen Intelligenz (AI), mit der Computer visuelle Informationen wie Bilder oder Videos verstehen und analysieren können. Auf Mobilgeräten lassen sich damit Objekte über die Kamera des Smartphones in Echtzeit erkennen, klassifizieren und mit ihnen interagieren. Vision-AI-Modelle wie Ultralytics YOLO11 können je nach Anforderungen deiner App gezielt darauf trainiert werden, bestimmte Objekte zu erkennen.

Ultralytics YOLO11 ist jedoch nicht von Haus aus für den Einsatz unter iOS eingerichtet. Um YOLO11 auf iPhones oder anderen Apple-Geräten bereitzustellen, insbesondere für die Offline-Nutzung, muss das Modell in ein Format konvertiert werden, das für das Apple-Ökosystem optimiert ist.

Genau dieses Problem soll CoreML lösen. CoreML ist Apples Framework für maschinelles Lernen, das Modelle lokal ausführt und direkt in iOS- und macOS-Anwendungen integriert werden kann. Die von Ultralytics unterstützte CoreML-Integration macht es einfach, dein Modell für die lokale Ausführung auf iPhones zu exportieren.

In diesem Artikel sehen wir uns genauer an, wie du dein Ultralytics-YOLO11-Modell in das CoreML-Format exportierst. Außerdem betrachten wir Anwendungsfälle in Echtzeit, die die Vorteile der direkten Ausführung von Computer-Vision-Modellen auf iOS-Geräten veranschaulichen.

Was ist CoreML?#

CoreML ist ein von Apple entwickeltes Machine-Learning-Framework (ML), mit dem Entwickler trainierte ML-Modelle direkt in Apps des Apple-Ökosystems integrieren können, darunter iOS (iPhone und iPad), macOS (Mac), watchOS (Apple Watch) und tvOS (Apple TV). Es wurde entwickelt, um Machine Learning auf Apple-Geräten zugänglich und effizient zu machen. Dazu können Modelle direkt auf dem Gerät und ohne Internetverbindung ausgeführt werden.

Im Zentrum von CoreML steht ein einheitliches Modellformat, das zahlreiche KI-Aufgaben unterstützt, etwa Bildklassifizierung, Objekterkennung, Spracherkennung und die Verarbeitung natürlicher Sprache. Das Framework ist darauf optimiert, Apples Hardware bestmöglich zu nutzen. Dafür verwendet es CPU (Zentraleinheit), GPU (Grafikprozessor) und ANE (Apple Neural Engine), um Modelle schnell und effizient auszuführen.

CoreML unterstützt verschiedene Modelltypen und ist mit verbreiteten Machine-Learning-Bibliotheken wie TensorFlow, PyTorch, scikit-learn, XGBoost und LibSVM kompatibel. So können Entwickler fortschrittliche ML-Funktionen einfacher in alltägliche Apps integrieren und gleichzeitig sicherstellen, dass diese auf Apple-Geräten reibungslos laufen.

Abb. 1. CoreML unterstützt Modelle aus anderen verbreiteten KI-Frameworks (Quelle).

Wichtige Funktionen von CoreML#

Hier sind einige der wichtigsten Funktionen, die CoreML zu einem zuverlässigen Werkzeug für die Integration von KI in Apple-Apps machen:

• Modelloptimierung: CoreML unterstützt Komprimierungstechniken wie Quantisierung und Pruning, um die Modellgröße zu verringern und die Laufzeiteffizienz zu verbessern.
• Personalisierung direkt auf dem Gerät: Apples ML-Framework unterstützt die Personalisierung auf dem Gerät. Dadurch können Modelle lokal und auf Grundlage der Interaktionen mit Nutzern trainiert und aktualisiert werden.
• Asynchrone Vorhersagen: Mit diesem Framework kann deine App Vorhersagen im Hintergrund ausführen. So bleibt die Benutzeroberfläche flüssig und reaktionsschnell, während KI-Aufgaben verarbeitet werden.
• Multitask-Lernen: CoreML unterstützt Modelle, die mehrere Aufgaben gleichzeitig ausführen können, etwa Objekte erkennen und Text im selben Bild erkennen.

So exportierst du Ultralytics YOLO11 ins CoreML-Format#

Nachdem wir nun das CoreML-Framework besser kennengelernt haben, gehen wir die Schritte durch, mit denen du die von Ultralytics unterstützte CoreML-Integration nutzt, um ein YOLO11-Modell ins CoreML-Format zu exportieren.

Schritt 1: Umgebung einrichten#

Um auf die Integrationsfunktionen von Ultralytics zuzugreifen, installiere zunächst das Ultralytics-Python-Paket. Diese schlanke und einfach zu verwendende Bibliothek vereinfacht Aufgaben wie das Trainieren, Evaluieren, Ausführen von Vorhersagen und Exportieren von Ultralytics-YOLO-Modellen.

Du kannst das Ultralytics-Python-Paket installieren, indem du im Terminal den Befehl „pip install ultralytics“ ausführst. Wenn du eine Umgebung wie Jupyter Notebook oder Google Colab verwendest, setze vor den Befehl ein Ausrufezeichen (!): „!pip install ultralytics“.

Falls bei der Installation oder beim Exportieren ins CoreML-Format Probleme auftreten, findest du Hilfe in der offiziellen Ultralytics-Dokumentation oder im Leitfaden zu häufigen Problemen.

Schritt 2: Ultralytics YOLO11 ins CoreML-Format exportieren#

Sobald das Paket erfolgreich installiert ist, kannst du ein Ultralytics-YOLO11-Modell laden und in das CoreML-Format umwandeln.

Wenn du dir nicht sicher bist, welches vortrainierte YOLO11-Modell du verwenden solltest, kannst du dir auf der Ultralytics Platform die YOLO11-Modellgrößen ansehen. Jedes Modell bietet eine andere Balance zwischen Geschwindigkeit, Größe und Genauigkeit, sodass du die beste Variante für dein Projekt auswählen kannst. Du kannst auch ein individuell trainiertes YOLO11-Modell verwenden, wenn du eines mit deinem eigenen Datensatz trainiert hast.

Im folgenden Codebeispiel wird eine vortrainierte YOLO11-Modell-Datei mit dem Namen "yolo11n.pt" verwendet. Während des Exportvorgangs wird sie in ein CoreML-Paket namens "yolo11n.mlpackage" konvertiert.

Das Modell „yolo11n“ ist die Nano-Version und auf Geschwindigkeit und geringen Ressourcenverbrauch optimiert. Je nach den Anforderungen deines Projekts kannst du auch andere Modellgrößen wählen, etwa „s“ für klein, „m“ für mittel, „l“ für groß oder „x“ für extra groß. Jede Version bietet eine andere Balance zwischen Geschwindigkeit und Genauigkeit. Dieselben Exportschritte gelten auch für neuere Modelle wie Ultralytics YOLO26.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="coreml")

Schritt 3: Inferenz mit dem exportierten CoreML-Modell ausführen#

Nach dem Export ins CoreML-Format lässt sich Ultralytics YOLO11 problemlos in iOS-Anwendungen integrieren. So können auf Geräten wie iPhones, iPads und Macs Computer-Vision-Aufgaben in Echtzeit ausgeführt werden, etwa die Objekterkennung.

Das folgende Codebeispiel zeigt beispielsweise, wie du das exportierte CoreML-Modell lädst und eine Inferenz ausführst. Bei der Inferenz verwendet ein trainiertes Modell neue Daten, um Vorhersagen zu treffen. In diesem Fall analysiert das Modell ein Bild einer Familie, die mit einem Ball spielt.

coreml_model = YOLO("yolo11n.mlpackage")
results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)

Nach der Ausführung des Codes wird das Ausgabebild im Ordner "runs/detect/predict" gespeichert.

Abb. 2. Mit einem exportierten Ultralytics-YOLO11-Modell im CoreML-Format Objekte erkennen. Bild vom Autor.

Wo lassen sich exportierte CoreML-Modelle einsetzen?#

Der Export von Ultralytics YOLO11 ins CoreML-Format eröffnet die Möglichkeit, vielfältige Computer-Vision-Anwendungen zu entwickeln, die effizient auf iPhones, iPads und Macs laufen. Sehen wir uns nun einige Anwendungsfälle aus der Praxis an, bei denen diese Integration besonders nützlich sein kann.

Augmented-Reality- und Spiele-Apps mit CoreML-Modellen#

Erweiterte Realität (AR) verbindet digitale Inhalte mit der realen Welt, indem virtuelle Elemente über Live-Kamerabilder gelegt werden. Sie wird zu einem wichtigen Bestandteil mobiler Spiele und ermöglicht interaktivere und intensivere Spielerlebnisse.

Mit Ultralytics YOLO11 im CoreML-Format können iOS-Entwickler AR-Spiele entwickeln, die mithilfe der Smartphone-Kamera reale Objekte wie Bänke, Bäume oder Schilder erkennen. Anschließend kann das Spiel virtuelle Elemente wie Münzen, Hinweise oder Kreaturen über diese Objekte legen und so die Umgebung des Spielers erweitern.

Im Hintergrund kommen dafür Objekterkennung und Objektverfolgung zum Einsatz. Ultralytics YOLO11 erkennt und identifiziert Objekte in Echtzeit, während die Objektverfolgung sie bei Kamerabewegungen im Blick behält. So bleiben die virtuellen Elemente an der realen Umgebung ausgerichtet.

Spieler können ihre Smartphones auf die Umgebung richten, diese erkunden und mit dem Gesehenen interagieren, um Gegenstände zu sammeln oder kurze Herausforderungen zu meistern. All das kann direkt auf dem Gerät und ohne Internetverbindung laufen und sorgt für ein flüssiges, fesselndes Erlebnis.

In CoreML integrierte iOS-Apps für ANPR in Echtzeit#

Automatische Kennzeichenerkennung (ANPR) ist eine Computer-Vision-Anwendung, mit der Fahrzeugkennzeichen erkannt und gelesen werden. Sie kommt häufig in Sicherheits-, Verkehrsüberwachungs- und Zutrittskontrollsystemen zum Einsatz. Mit CoreML und Modellen wie YOLO11 lässt sich ANPR jetzt effizient auf iOS-Geräten ausführen.

Eine ANPR-App auf deinem iPhone kann besonders in sicherheitskritischen Umgebungen nützlich sein. Sie kann Teams beispielsweise dabei helfen, schnell festzustellen, ob ein Fahrzeug, das in einen gesperrten Bereich einfährt, zugelassen ist.

Eine solche App kann ein über CoreML integriertes Vision-AI-Modell wie Ultralytics YOLO11 verwenden, um Fahrzeuge zu erkennen und ihre Kennzeichen mithilfe der Gerätekamera in Echtzeit zu lokalisieren. Sobald ein Kennzeichen erkannt wurde, kann die optische Zeichenerkennung (OCR) die Kennzeichennummer auslesen. Anschließend kann die App diese Nummer mit einer lokalen oder cloudbasierten Datenbank abgleichen, um den Zugang zu bestätigen oder nicht zugelassene Fahrzeuge zu melden.

Abb. 3. Vision AI kann zum Erkennen und Auslesen von Kennzeichen verwendet werden. (Quelle).

Barrierefreie Apps können CoreML-Modelle nutzen#

KI hat die Barrierefreiheit stark verbessert und hilft, Hindernisse für Menschen mit Sehbehinderungen abzubauen. Mit Werkzeugen wie CoreML und Computer-Vision-Modellen wie Ultralytics YOLO11 können Entwickler iOS-Apps erstellen, die Nutzern ihre Umgebung in Echtzeit beschreiben und so alltägliche Aufgaben erleichtern und unabhängiger machen.

So kann eine sehbehinderte Person die iPhone-Kamera auf die Umgebung richten. Die App erkennt mithilfe der Objekterkennung wichtige Elemente wie Fahrzeuge, Personen oder Straßenschilder und beschreibt, was sie sieht. Das kann etwa beim Navigieren durch eine belebte Straße oder beim Erfassen einer Notsituation helfen.

Abb. 4. Beispiel für die Erkennung von Personen mit Ultralytics YOLO11

Die wichtigsten Erkenntnisse#

Der Export von Ultralytics YOLO11 in das CoreML-Format eröffnet neue Möglichkeiten für Echtzeitanwendungen, darunter die Offline-Objekterkennung auf iOS-Geräten. Von Spielen und Sicherheit bis hin zu Barrierefreiheit ermöglicht diese Kombination Entwicklern, intelligente, effiziente und datenschutzorientierte Apps zu erstellen, die vollständig auf dem Gerät laufen.

Mit nur wenigen einfachen Schritten kannst du dein Ultralytics-YOLO11-Modell konvertieren und iPhones um zuverlässige Computer-Vision-Funktionen erweitern. Das Beste daran: Es funktioniert ohne Internetverbindung. Insgesamt bringt die CoreML-Integration fortschrittliche KI in alltägliche mobile Apps und macht sie schneller, reaktionsschneller und überall einsatzbereit.

Möchtest du mehr über KI erfahren? Sieh dir unser GitHub-Repository an, tausche dich mit unserer Community aus und informiere dich über unsere Lizenzoptionen, um dein Computer-Vision-Projekt zu starten. Erfahre auf unseren Lösungsseiten, wie Innovationen wie KI im Einzelhandel und Computer Vision in der Logistik die Zukunft prägen.