Bring Ultralytics YOLO11 via CoreML auf Apple-Geräte

Mit der Einführung von Funktionen wie Apple Intelligence durch Apple wird deutlich, dass On-Device-KI ein zentraler Bestandteil unserer Smartphone-Nutzung wird. Für Entwickler bedeutet dieser Wandel, dass Nutzer vermehrt iOS-Apps verwenden, die computergestützte Funktionen wie Computer Vision einsetzen, um intelligentere und reaktionsschnellere Erlebnisse zu bieten.

Computer Vision ist eine Form der künstlichen Intelligenz (KI), die es Computern ermöglicht, visuelle Informationen wie Bilder oder Videos zu verstehen und zu analysieren. Auf Mobilgeräten kann sie in Echtzeit genutzt werden, um Objekte über die Kamera des Telefons zu erkennen, zu klassifizieren und mit ihnen zu interagieren. Vision-KI-Modelle wie Ultralytics YOLO11 können je nach Anforderungen deiner App speziell trainiert werden, um bestimmte Objekte zu erkennen.

YOLO11 ist jedoch nicht sofort einsatzbereit für iOS. Um YOLO11 auf iPhones oder anderen Apple-Geräten bereitzustellen, insbesondere für die Offline-Nutzung, muss es in ein für das Apple-Ökosystem optimiertes Format konvertiert werden.

Genau dieses Problem wurde mit CoreML gelöst. CoreML ist das Machine-Learning-Framework von Apple, das entwickelt wurde, um Modelle lokal auszuführen und nahtlos in iOS- und macOS-Anwendungen zu integrieren. Die von Ultralytics unterstützte CoreML-Integration macht den Export deines Modells für die lokale Bereitstellung auf iPhones einfach.

In diesem Artikel schauen wir uns genauer an, wie du dein YOLO11-Modell in das CoreML-Format exportierst. Wir untersuchen zudem Echtzeit-Anwendungsfälle, die die Vorteile der Ausführung von Computer-Vision-Modellen direkt auf iOS-Geräten aufzeigen. Fangen wir an!

Link to this sectionWas ist CoreML?#

CoreML ist ein von Apple entwickeltes Machine Learning (ML) Framework, das es Entwicklern ermöglicht, trainierte ML-Modelle direkt in Apps im Apple-Ökosystem zu integrieren, einschließlich iOS (iPhone und iPad), macOS (Mac), watchOS (Apple Watch) und tvOS (Apple TV). Es wurde entwickelt, um Machine Learning auf Apple-Geräten zugänglich und effizient zu machen, indem es die lokale Modellausführung ohne Internetverbindung ermöglicht.

Das Herzstück von CoreML ist ein einheitliches Modellformat, das eine Vielzahl von KI-Aufgaben wie Bildklassifizierung, Objekterkennung, Spracherkennung und natürliche Sprachverarbeitung unterstützt. Das Framework ist darauf optimiert, die Apple-Hardware optimal zu nutzen, indem es CPU, GPU und ANE (Apple Neural Engine) verwendet, um Modelle schnell und effizient auszuführen.

CoreML unterstützt eine Vielzahl von Modelltypen und ist mit gängigen Machine-Learning-Bibliotheken kompatibel, darunter TensorFlow, PyTorch, scikit-learn, XGBoost und LibSVM. Dies erleichtert es Entwicklern, fortschrittliche ML-Funktionen in Alltags-Apps zu bringen und gleichzeitig einen reibungslosen Ablauf auf Apple-Geräten zu gewährleisten.

Abb. 1: CoreML unterstützt Modelle anderer bekannter KI-Frameworks (Quelle).

Link to this sectionHauptfunktionen von CoreML#

Hier sind einige der wichtigsten Funktionen, die CoreML zu einem zuverlässigen Werkzeug für die Integration von KI in Apple-Apps machen:

• Modelloptimierung: CoreML unterstützt Komprimierungstechniken wie Quantisierung und Pruning, um die Modellgröße zu reduzieren und die Laufzeiteffizienz zu verbessern.
• On-Device-Personalisierung: Apples ML-Framework unterstützt die lokale Personalisierung, sodass Modelle basierend auf Benutzerinteraktionen vor Ort trainiert und aktualisiert werden können.
• Asynchrone Vorhersagen: Dieses Framework ermöglicht es deiner App, Vorhersagen im Hintergrund auszuführen, wodurch die Benutzeroberfläche flüssig und reaktionsschnell bleibt, während KI-Aufgaben verarbeitet werden.
• Multi-Task-Learning: CoreML unterstützt Modelle, die mehrere Aufgaben gleichzeitig ausführen können, wie z. B. das Erkennen von Objekten und das Erkennen von Text im selben Bild.

Link to this sectionSo exportierst du YOLO11 in das CoreML-Format#

Nachdem wir ein besseres Verständnis des CoreML-Frameworks haben, gehen wir Schritt für Schritt durch, wie du die von Ultralytics unterstützte CoreML-Integration verwendest, um ein YOLO11-Modell in das CoreML-Format zu exportieren.

Link to this sectionSchritt 1: Deine Umgebung einrichten#

Um auf die von Ultralytics bereitgestellten Integrationsfunktionen zuzugreifen, installiere zunächst das Ultralytics Python-Paket. Es ist eine leichtgewichtige, benutzerfreundliche Bibliothek, die Aufgaben wie Training, Evaluierung, Vorhersage und Export von Ultralytics YOLO-Modellen vereinfacht.

Du kannst das Ultralytics Python-Paket installieren, indem du „pip install ultralytics“ in deinem Terminal ausführst. Wenn du eine Umgebung wie Jupyter Notebook oder Google Colab verwendest, füge ein Ausrufezeichen (!) vor dem Befehl ein: „!pip install ultralytics“.

Falls bei der Installation oder beim Export nach CoreML Probleme auftreten, schaue in der offiziellen Ultralytics-Dokumentation oder im Leitfaden für allgemeine Probleme nach Hilfe.

Link to this sectionSchritt 2: YOLO11 nach CoreML exportieren#

Sobald das Paket erfolgreich installiert ist, bist du bereit, ein YOLO11-Modell zu laden und es in das CoreML-Format zu konvertieren.

Wenn du dir nicht sicher bist, welches vortrainierte YOLO11-Modell du verwenden sollst, kannst du die von Ultralytics unterstützten Modelle durchstöbern. Jedes bietet eine andere Balance zwischen Geschwindigkeit, Größe und Genauigkeit; du kannst das für dein Projekt am besten geeignete Modell auswählen. Du kannst auch ein benutzerdefiniertes YOLO11-Modell verwenden, falls du eines auf deinem eigenen Datensatz trainiert hast.

Im Code-Schnipsel unten wird eine vortrainierte YOLO11-Modelldatei namens „yolo11n.pt“ verwendet. Während des Exportvorgangs wird sie in ein CoreML-Paket namens „yolo11n.mlpackage“ konvertiert.

Das Modell „yolo11n“ ist die Nano-Version, die auf Geschwindigkeit und geringe Ressourcennutzung optimiert ist. Je nach deinen Projektanforderungen kannst du auch andere Modellgrößen wählen, wie „s“ für klein, „m“ für mittel, „l“ für groß oder „x“ für extra groß. Jede Version bietet ein anderes Verhältnis zwischen Leistung und Genauigkeit.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="coreml")

Link to this sectionSchritt 3: Inference mit dem exportierten CoreML-Modell ausführen#

Nach dem Export in das CoreML-Format kann YOLO11 einfach in iOS-Anwendungen integriert werden, was Echtzeit-Computer-Vision-Aufgaben wie Objekterkennung auf Geräten wie iPhones, iPads und Macs ermöglicht.

Der folgende Code-Schnipsel zeigt beispielsweise, wie du das exportierte CoreML-Modell lädst und eine Inference ausführst. Inference ist der Prozess, bei dem ein trainiertes Modell verwendet wird, um Vorhersagen auf neuen Daten zu treffen. In diesem Fall analysiert das Modell ein Bild einer Familie, die mit einem Ball spielt.

coreml_model = YOLO("yolo11n.mlpackage")
results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)

Nachdem du den Code ausgeführt hast, wird das Ausgabebild im Ordner „runs/detect/predict“ gespeichert.

Abb. 2: Verwendung eines exportierten YOLO11-Modells im CoreML-Format zur Objekterkennung. Bild vom Autor.

Link to this sectionWo können die exportierten CoreML-Modelle eingesetzt werden?#

Der Export von YOLO11 nach CoreML bietet die Flexibilität, vielfältige Computer-Vision-Anwendungen zu entwickeln, die effizient auf iPhones, iPads und Macs laufen. Schauen wir uns als Nächstes einige praxisnahe Szenarien an, in denen diese Integration besonders nützlich ist.

Link to this sectionAugmented Reality- und Gaming-Apps mit CoreML-Modellen#

Augmented Reality (AR) verbindet digitale Inhalte mit der realen Welt, indem virtuelle Elemente über Live-Kamerabilder gelegt werden. Es wird zu einem wichtigen Bestandteil des mobilen Gamings und schafft interaktivere und immersivere Erlebnisse.

Mit YOLO11 im CoreML-Format können iOS-Entwickler AR-Spiele erstellen, die reale Objekte wie Bänke, Bäume oder Schilder über die Kamera des Telefons erkennen. Das Spiel kann dann virtuelle Gegenstände wie Münzen, Hinweise oder Kreaturen auf diesen Objekten platzieren, um die Umgebung des Spielers zu bereichern.

Hinter den Kulissen funktioniert dies durch Objekterkennung und Objektverfolgung. YOLO11 erkennt und identifiziert Objekte in Echtzeit, während das Tracking diese Objekte bei Kamerabewegungen im Blick behält und sicherstellt, dass die virtuellen Elemente an der realen Welt ausgerichtet bleiben.

Spieler können ihre Telefone ausrichten, ihre Umgebung erkunden und mit dem Gesehenen interagieren, um Gegenstände zu sammeln oder schnelle Herausforderungen abzuschließen. All dies kann direkt auf dem Gerät ohne Internetverbindung ausgeführt werden, was das Erlebnis flüssig und ansprechend macht.

Link to this sectioniOS-Apps mit CoreML-Modellen für Echtzeit-ANPR#

Automatic Number Plate Recognition (ANPR) ist eine Computer-Vision-Anwendung zur Erkennung und zum Lesen von Fahrzeugkennzeichen. Sie wird häufig in Sicherheits-, Verkehrsüberwachungs- und Zugangskontrollsystemen eingesetzt. Mit CoreML und Modellen wie YOLO11 kann ANPR nun effizient auf iOS-Geräten ausgeführt werden.

Eine ANPR-App auf deinem iPhone kann besonders in sicherheitskritischen Umgebungen nützlich sein. Sie kann beispielsweise Teams dabei helfen, schnell festzustellen, ob ein Fahrzeug, das in einen gesperrten Bereich einfährt, dazu berechtigt ist oder nicht.

Eine solche App kann ein Vision-KI-Modell wie YOLO11, integriert über CoreML, verwenden, um Fahrzeuge zu erkennen und deren Nummernschilder in Echtzeit über die Kamera des Geräts zu lokalisieren. Sobald ein Kennzeichen erkannt wird, kann die OCR-Technologie (Optical Character Recognition) die Kennzeichennummer lesen. Die App kann diese Nummer dann mit einer lokalen oder cloudbasierten Datenbank vergleichen, um den Zugang zu verifizieren oder unberechtigte Fahrzeuge zu melden.

Abb. 3: Vision-KI kann zur Erkennung und zum Lesen von Nummernschildern eingesetzt werden. (Quelle).

Link to this sectionApps für Barrierefreiheit können von CoreML-Modellen profitieren#

KI hat einen enormen Einfluss auf die Barrierefreiheit und hilft dabei, Barrieren für Menschen mit Sehbehinderungen abzubauen. Mit Tools wie CoreML und Computer-Vision-Modellen wie YOLO11 können Entwickler iOS-Apps erstellen, die den Nutzern ihre Umgebung in Echtzeit beschreiben und so alltägliche Aufgaben einfacher und unabhängiger machen.

Ein sehbehinderter Mensch kann beispielsweise die Kamera seines iPhones auf seine Umgebung richten. Die App nutzt Objekterkennung, um wichtige Elemente wie Fahrzeuge, Personen oder Straßenschilder zu identifizieren und sie zu benennen. Dies kann in Situationen wie dem Navigieren durch eine belebte Straße oder in Notfällen sehr hilfreich sein.

Abb. 4: Ein Beispiel für die Verwendung von YOLO11 zur Personenerkennung

Link to this sectionWichtige Erkenntnisse#

Der Export von YOLO11 in das CoreML-Format eröffnet neue Möglichkeiten für Echtzeitanwendungen, einschließlich der Offline-Objekterkennung auf iOS-Geräten. Von der Landwirtschaft und Sicherheit bis hin zur Barrierefreiheit ermöglicht diese Kombination Entwicklern die Erstellung intelligenter, effizienter und datenschutzfreundlicher Apps, die vollständig auf dem Gerät laufen.

Mit nur wenigen einfachen Schritten kannst du dein YOLO11-Modell konvertieren und zuverlässige Computer-Vision-Funktionen zu iPhones hinzufügen. Das Beste daran: Es funktioniert ohne Internetverbindung. Insgesamt bringt die CoreML-Integration die Leistungsfähigkeit fortschrittlicher KI in alltägliche mobile Apps und macht sie schneller, reaktionsschneller und überall einsatzbereit.

Bist du neugierig auf mehr zum Thema KI? Erkunde unser GitHub-Repository, vernetze dich mit unserer Community und informiere dich über unsere Lizenzierungsoptionen, um dein Computer-Vision-Projekt zu starten. Finde auf unseren Lösungsseiten heraus, wie Innovationen wie KI im Einzelhandel und Computer Vision in der Logistik die Zukunft gestalten.