Ultralytics YOLO11 über CoreML auf Apple-Geräte bringen

Mit der Einführung von Funktionen wie Apple Intelligence durch Apple ist klar, dass die KI auf dem Gerät ein zentraler Bestandteil der Nutzung unserer Telefone wird. Für Entwickler bedeutet dieser Wandel, dass die Nutzer iOS-Apps annehmen, die Funktionen wie Computer Vision nutzen, um intelligentere und reaktionsschnellere Erlebnisse zu bieten.

Computer Vision ist eine Form der künstlichen Intelligenz (AI), die es Computern ermöglicht, visuelle Informationen wie Bilder oder Videos zu verstehen und zu analysieren. Auf Mobilgeräten kann sie in Echtzeit eingesetzt werden, um Objekte über die Kamera des Telefons zu erkennen, zu klassifizieren und mit ihnen zu interagieren. Vision-KI-Modelle wie Ultralytics YOLO11 können je nach den Anforderungen Ihrer Anwendung individuell trainiert werden, um bestimmte Objekte zu erkennen. 

Allerdings ist YOLO11 nicht von vornherein für die Verwendung unter iOS ausgelegt. Um YOLO11 auf iPhones oder anderen Apple-Geräten einzusetzen, insbesondere für die Offline-Nutzung, muss es in ein für das Apple-Ökosystem optimiertes Format konvertiert werden. 

Dies ist genau die Art von Problem, für dessen Lösung CoreML entwickelt wurde. CoreML ist das Framework für maschinelles Lernen von Apple, das für die lokale Ausführung von Modellen entwickelt wurde und sich nahtlos in iOS- und macOS-Anwendungen integrieren lässt. Die CoreML-Integration, die von Ultralytics unterstützt wird, macht es einfach, Ihr Modell für die lokale Bereitstellung auf iPhones zu exportieren.

In diesem Artikel sehen wir uns genauer an, wie Sie Ihr YOLO11-Modell in das CoreML-Format exportieren. Außerdem werden wir Anwendungsfälle in Echtzeit untersuchen, die die Vorteile der direkten Ausführung von Computer-Vision-Modellen auf iOS-Geräten zeigen. Legen wir los!

Was ist CoreML?

CoreML ist ein von Apple entwickeltes Framework für maschinelles Lernen (ML), das es Entwicklern ermöglicht, trainierte ML-Modelle direkt in Apps im gesamten Apple-Ökosystem zu integrieren, einschließlich iOS (iPhone und iPad), macOS (Mac), watchOS (Apple Watch) und tvOS (Apple TV). Es wurde entwickelt, um maschinelles Lernen auf Apple-Geräten zugänglich und effizient zu machen, indem Modelle direkt auf dem Gerät ausgeführt werden können, ohne dass eine Internetverbindung erforderlich ist.

Kernstück von CoreML ist ein einheitliches Modellformat, das eine breite Palette von KI-Aufgaben wie Bildklassifizierung, Objekterkennung, Spracherkennung und Verarbeitung natürlicher Sprache unterstützt. Das Framework ist für die optimale Nutzung der Apple-Hardware optimiert und nutzt die CPU (Central Processing Unit), GPU (Graphics Processing Unit) und ANE (Apple Neural Engine), um Modelle schnell und effizient auszuführen.

CoreML unterstützt eine Vielzahl von Modelltypen und ist mit gängigen Bibliotheken für maschinelles Lernen kompatibel, darunter TensorFlow, PyTorch, scikit-learn, XGBoost und LibSVM. Dies erleichtert es Entwicklern, fortschrittliche ML-Funktionen in alltägliche Anwendungen einzubringen und gleichzeitig sicherzustellen, dass sie auf allen Apple-Geräten reibungslos funktionieren.

‍

Hauptmerkmale von CoreML

Im Folgenden finden Sie einige der wichtigsten Funktionen, die CoreML zu einem zuverlässigen Tool für die Integration von KI in Apple-Anwendungen machen:

• Modell-Optimierung: CoreML unterstützt Komprimierungstechniken wie Quantisierung und Pruning, um die Modellgröße zu reduzieren und die Laufzeiteffizienz zu verbessern.
• Personalisierung auf dem Gerät: Das ML-Framework von Apple unterstützt die geräteinterne Personalisierung, sodass Modelle auf der Grundlage von Benutzerinteraktionen lokal trainiert und aktualisiert werden können.
• Asynchrone Vorhersagen: Mit diesem Framework kann Ihre App Vorhersagen im Hintergrund ausführen, so dass die Benutzeroberfläche reibungslos und reaktionsschnell bleibt, während KI-Aufgaben erledigt werden.
• Multi-Task-Lernen: CoreML unterstützt Modelle, die mehrere Aufgaben gleichzeitig ausführen können, z. B. das Erkennen von Objekten und Text im selben Bild.

Wie exportiert man YOLO11 in das CoreML-Format?

Nachdem wir nun ein besseres Verständnis des CoreML-Frameworks erlangt haben, gehen wir nun durch, wie man die von Ultralytics unterstützte CoreML-Integration verwendet, um ein YOLO11-Modell in das CoreML-Format zu exportieren.

Schritt 1: Einrichten Ihrer Umgebung

Um auf die von Ultralytics bereitgestellten Integrationsfunktionen zuzugreifen, installieren Sie zunächst das Ultralytics Python-Paket. Dabei handelt es sich um eine leichtgewichtige, benutzerfreundliche Bibliothek, die Aufgaben wie das Trainieren, Auswerten, Vorhersagen und Exportieren von Ultralytics YOLO-Modellen vereinfacht.

Sie können das Ultralytics-Python-Paket installieren, indem Sie "pip install ultralytics" in Ihrem Befehlsterminal ausführen. Wenn Sie eine Umgebung wie Jupyter Notebook oder Google Colab verwenden, setzen Sie ein Ausrufezeichen (!) vor den Befehl: "!pip install ultralytics".

Wenn Sie bei der Installation oder beim Exportieren nach CoreML auf Probleme stoßen, finden Sie in der offiziellen Ultralytics-Dokumentation oder im Leitfaden für allgemeine Probleme Hilfe.

Schritt 2: Exportieren von YOLO11 nach CoreML

Sobald das Paket erfolgreich installiert ist, können Sie ein YOLO11-Modell laden und es in das CoreML-Format konvertieren.

Wenn Sie sich nicht sicher sind, welches vortrainierte YOLO11-Modell Sie verwenden sollen, können Sie die verschiedenen von Ultralytics unterstützten Modelle ausprobieren. Jedes bietet ein anderes Gleichgewicht von Geschwindigkeit, Größe und Genauigkeit, und Sie können das für Ihr Projekt am besten geeignete Modell auswählen. Sie können auch ein benutzerdefiniertes YOLO11-Modell verwenden, wenn Sie es mit Ihrem eigenen Datensatz trainiert haben.

Im nachstehenden Codeschnipsel wird eine vortrainierte YOLO11-Modelldatei mit dem Namen "yolo11n.pt" verwendet. Während des Exportvorgangs wird sie in ein CoreML-Paket namens "yolo11n.mlpackage" umgewandelt.

Das Modell "yolo11n" ist die Nano-Version, die für Geschwindigkeit und geringen Ressourcenverbrauch optimiert ist. Je nach den Anforderungen Ihres Projekts können Sie auch andere Modellgrößen wie "s" für klein, "m" für mittel, "l" für groß oder "x" für extragroß wählen. Jede Version bietet ein anderes Gleichgewicht zwischen Leistung und Genauigkeit.

‍

from ultralytics import YOLO

model = YOLO("yolo11n.pt")

model.export(format="coreml")

‍

Schritt 3: Durchführung der Inferenz unter Verwendung des exportierten CoreML-Modells

Nach dem Export in das CoreML-Format kann YOLO11 leicht in iOS-Anwendungen integriert werden und ermöglicht so Echtzeit-Computer-Vision-Aufgaben wie die Objekterkennung auf Geräten wie iPhones, iPads und Macs.

Das folgende Codeschnipsel veranschaulicht beispielsweise, wie das exportierte CoreML-Modell geladen und eine Inferenz durchgeführt wird. Inferenz ist der Prozess der Verwendung eines trainierten Modells, um Vorhersagen für neue Daten zu treffen. In diesem Fall analysiert das Modell ein Bild einer Familie, die mit einem Ball spielt.

‍

coreml_model = YOLO("yolo11n.mlpackage")

results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)

‍

Nach Ausführung des Codes wird das Ausgabebild im Ordner "runs/detect/predict" gespeichert.

‍

Wo können die exportierten CoreML-Modelle verwendet werden?

Der Export von YOLO11 nach CoreML bietet die Flexibilität, verschiedene Bildverarbeitungsanwendungen zu erstellen, die effizient auf iPhones, iPads und Macs ausgeführt werden können. Als Nächstes wollen wir uns einige reale Szenarien ansehen, in denen diese Integration besonders nützlich sein kann.

Augmented-Reality- und Spiele-Apps auf Basis von CoreML-Modellen

Augmented Reality (AR) verschmilzt digitale Inhalte mit der realen Welt, indem virtuelle Elemente über Live-Kameraansichten gelegt werden. Sie entwickelt sich zu einem wichtigen Bestandteil der mobilen Spiele und schafft interaktive und immersive Erlebnisse.

Mit YOLO11, das in das CoreML-Format exportiert wurde, können iOS-Entwickler AR-Spiele erstellen, die reale Objekte wie Bänke, Bäume oder Schilder mit der Kamera des Telefons erkennen. Das Spiel kann dann virtuelle Objekte wie Münzen, Hinweise oder Kreaturen über diese Objekte legen, um die Umgebung des Spielers zu verbessern.

Hinter den Kulissen funktioniert dies mithilfe von Objekterkennung und Objektverfolgung. YOLO11 erkennt und identifiziert Objekte in Echtzeit, während die Verfolgung diese Objekte im Blick behält, wenn sich die Kamera bewegt, und dafür sorgt, dass die virtuellen Elemente mit der realen Welt ausgerichtet bleiben.

Die Spieler können auf ihr Handy zielen, ihre Umgebung erkunden und mit dem, was sie sehen, interagieren, um Gegenstände zu sammeln oder kurze Aufgaben zu erfüllen. All dies kann direkt auf dem Gerät ausgeführt werden, ohne dass eine Internetverbindung erforderlich ist, was das Erlebnis reibungslos und fesselnd macht.

Integrierte iOS-Apps mit CoreML-Modellen für ANPR in Echtzeit

Die automatische Nummernschilderkennung (ANPR) ist eine Bildverarbeitungsanwendung zur Erkennung und zum Lesen von Kfz-Kennzeichen. Sie wird häufig in Sicherheits-, Verkehrsüberwachungs- und Zugangskontrollsystemen eingesetzt. Mit CoreML und Modellen wie YOLO11 kann ANPR jetzt effizient auf iOS-Geräten ausgeführt werden. 

Eine ANPR-App auf Ihrem iPhone kann besonders in sicherheitsrelevanten Umgebungen nützlich sein. Sie kann Teams beispielsweise dabei helfen, schnell festzustellen, ob ein Fahrzeug, das in einen gesperrten Bereich einfährt, berechtigt ist oder nicht.

Eine solche App kann ein Vision-KI-Modell wie YOLO11 verwenden, das über CoreML integriert ist, um Fahrzeuge zu erkennen und ihre Nummernschilder in Echtzeit über die Kamera des Geräts zu lokalisieren. Sobald ein Nummernschild erkannt wird, kann die OCR-Technologie (Optical Character Recognition) das Kennzeichen lesen. Die App kann diese Nummer dann mit einer lokalen oder cloudbasierten Datenbank vergleichen, um den Zugang zu verifizieren oder nicht autorisierte Fahrzeuge zu kennzeichnen.

‍

Auf Barrierefreiheit ausgerichtete Anwendungen können CoreML-Modelle nutzen

KI hat einen großen Einfluss auf die Barrierefreiheit und hilft, Barrieren für Menschen mit Sehbehinderungen abzubauen. Mit Tools wie CoreML und Computer-Vision-Modellen wie YOLO11 können Entwickler iOS-Apps entwickeln, die die Welt um den Nutzer herum in Echtzeit beschreiben und so alltägliche Aufgaben einfacher und unabhängiger machen.

So kann beispielsweise eine sehbehinderte Person ihre iPhone-Kamera auf ihre Umgebung richten. Die App nutzt die Objekterkennung, um Schlüsselelemente wie Fahrzeuge, Menschen oder Straßenschilder zu erkennen, und gibt wieder, was sie sieht. Dies kann in Situationen wie dem Navigieren auf einer belebten Straße oder dem Verstehen eines Notfalls genutzt werden.

‍

Die wichtigsten Erkenntnisse

Der Export von YOLO11 in das CoreML-Format schafft neue Möglichkeiten für Echtzeitanwendungen, einschließlich der Offline-Objekterkennung auf iOS-Geräten. Von der Landwirtschaft über die Sicherheit bis hin zur Barrierefreiheit ermöglicht diese Kombination Entwicklern die Entwicklung intelligenter, effizienter und datenschutzfreundlicher Anwendungen, die vollständig auf dem Gerät laufen.

Mit nur wenigen einfachen Schritten können Sie Ihr YOLO11-Modell konvertieren und iPhones mit zuverlässigen Computer-Vision-Funktionen ausstatten. Das Beste daran ist, dass es ohne Internetverbindung funktioniert. Insgesamt bringt die CoreML-Integration die Leistung fortschrittlicher KI in alltägliche mobile Apps und macht sie schneller, reaktionsschneller und überall einsatzbereit.

Sind Sie neugierig, mehr über KI zu erfahren? Erkunden Sie unser GitHub-Repository, tauschen Sie sich mit unserer Community aus, und informieren Sie sich über unsere Lizenzierungsoptionen, um Ihr Computer-Vision-Projekt zu starten. Erfahren Sie auf unseren Lösungsseiten, wie Innovationen wie KI im Einzelhandel und Computer Vision in der Logistik die Zukunft gestalten.