Ultralytics YOLO11 über CoreML auf Apple-Geräte bringen

Mit der Einführung von Funktionen wie Apple Intelligence durch Apple wird deutlich, dass On-Device-KI zu einem zentralen Bestandteil der Nutzung unserer Telefone wird. Für Entwickler bedeutet diese Verschiebung, dass Benutzer iOS-Apps verwenden, die Funktionen wie Computer Vision nutzen, um intelligentere und reaktionsschnellere Erlebnisse zu bieten.

Computer Vision ist eine Form der künstlichen Intelligenz (KI), die es Computern ermöglicht, visuelle Informationen wie Bilder oder Videos zu verstehen und zu analysieren. Auf mobilen Geräten kann sie in Echtzeit eingesetzt werden, um Objekte über die Handykamera zu erkennen, zu klassifizieren und mit ihnen zu interagieren. Vision-KI-Modelle wie Ultralytics YOLO11 können kundenspezifisch trainiert werden, um bestimmte Objekte zu erkennen, je nach den Anforderungen Ihrer App. 

YOLO11 ist jedoch nicht dafür eingerichtet, sofort auf iOS zu laufen. Um YOLO11 auf iPhones oder anderen Apple-Geräten bereitzustellen, insbesondere für die Offline-Nutzung, muss es in ein für das Apple-Ökosystem optimiertes Format konvertiert werden. 

Dies ist genau die Art von Problem, für die CoreML entwickelt wurde. CoreML ist Apples Machine-Learning-Framework, das entwickelt wurde, um Modelle lokal auszuführen und sich nahtlos in iOS- und macOS-Anwendungen zu integrieren. Die von Ultralytics unterstützte CoreML-Integration macht es einfach, Ihr Modell für die lokale Bereitstellung auf iPhones zu exportieren.

In diesem Artikel werden wir uns genauer ansehen, wie Sie Ihr YOLO11-Modell in das CoreML-Format exportieren können. Wir werden auch Anwendungsfälle in Echtzeit untersuchen, die die Vorteile des direkten Betriebs von Computer-Vision-Modellen auf iOS-Geräten aufzeigen. Los geht's!

Was ist CoreML?

CoreML ist ein von Apple entwickeltes Framework für maschinelles Lernen (ML), das es Entwicklern ermöglicht, trainierte ML-Modelle direkt in Apps im gesamten Apple-Ökosystem zu integrieren, einschließlich iOS (iPhone und iPad), macOS (Mac), watchOS (Apple Watch) und tvOS (Apple TV). Es wurde entwickelt, um maschinelles Lernen auf Apple-Geräten zugänglich und effizient zu machen, indem es ermöglicht, Modelle direkt auf dem Gerät auszuführen, ohne dass eine Internetverbindung erforderlich ist.

Das Herzstück von CoreML ist ein einheitliches Modellformat, das eine breite Palette von KI-Aufgaben unterstützt, wie z. B. Bildklassifizierung, Objekterkennung, Spracherkennung und Verarbeitung natürlicher Sprache. Das Framework ist optimiert, um die Hardware von Apple optimal zu nutzen, indem es die CPU (Central Processing Unit), die GPU (Graphics Processing Unit) und die ANE (Apple Neural Engine) verwendet, um Modelle schnell und effizient auszuführen.

CoreML unterstützt eine Vielzahl von Modelltypen und ist mit gängigen Bibliotheken für maschinelles Lernen kompatibel, darunter TensorFlow, PyTorch, scikit-learn, XGBoost und LibSVM. Dies erleichtert es Entwicklern, fortschrittliche ML-Funktionen in alltägliche Apps zu integrieren und gleichzeitig sicherzustellen, dass diese reibungslos auf Apple-Geräten laufen.

‍

Wichtige Funktionen von CoreML

Hier sind einige der wichtigsten Funktionen, die CoreML zu einem zuverlässigen Werkzeug für die Integration von KI in Apple-Apps machen:

• Modelloptimierung: CoreML unterstützt Komprimierungstechniken wie Quantisierung und Pruning, um die Modellgröße zu reduzieren und die Laufzeiteffizienz zu verbessern.
• On-Device Personalisierung: Das ML-Framework von Apple unterstützt On-Device-Personalisierung und ermöglicht es, Modelle lokal basierend auf Benutzerinteraktionen zu trainieren und zu aktualisieren.
• Asynchrone Vorhersagen: Dieses Framework ermöglicht es Ihrer App, Vorhersagen im Hintergrund auszuführen, wodurch die Benutzeroberfläche reibungslos und reaktionsschnell bleibt, während KI-Aufgaben verarbeitet werden.
• Multi-Task-Learning: CoreML unterstützt Modelle, die mehrere Aufgaben gleichzeitig ausführen können, wie z. B. das Erkennen von Objekten und das Erkennen von Text im selben Bild.

Wie man YOLOv11 in das CoreML-Format exportiert

Nachdem wir nun ein besseres Verständnis des CoreML-Frameworks haben, wollen wir uns ansehen, wie die von Ultralytics unterstützte CoreML-Integration genutzt wird, um ein YOLO11-Modell in das CoreML-Format zu exportieren.

Schritt 1: Einrichten Ihrer Umgebung

Um auf die von Ultralytics bereitgestellten Integrationsfunktionen zuzugreifen, installieren Sie zunächst das Ultralytics Python-Paket. Es handelt sich um eine schlanke, einfach zu bedienende Bibliothek, die Aufgaben wie das Trainieren, Evaluieren, Vorhersagen und Exportieren von Ultralytics YOLO-Modellen vereinfacht.

Sie können das Ultralytics Python-Paket installieren, indem Sie “pip install ultralytics” in Ihrem Befehlsterminal ausführen. Wenn Sie eine Umgebung wie Jupyter Notebook oder Google Colab verwenden, fügen Sie ein Ausrufezeichen (!) vor dem Befehl hinzu: “!pip install ultralytics”.

Sollten während der Installation oder beim Exportieren nach CoreML Probleme auftreten, konsultieren Sie die offizielle Ultralytics-Dokumentation oder den Leitfaden zu häufigen Problemen.

Schritt 2: YOLO11 nach CoreML exportieren

Sobald das Paket erfolgreich installiert wurde, können Sie ein YOLO11-Modell laden und in das CoreML-Format konvertieren.

Wenn Sie sich nicht sicher sind, welches vortrainierte YOLO11-Modell Sie verwenden sollen, können Sie die Bandbreite der von Ultralytics unterstützten Modelle erkunden. Jedes bietet ein anderes Gleichgewicht zwischen Geschwindigkeit, Größe und Genauigkeit, und Sie können das am besten geeignete für Ihr Projekt auswählen. Sie können auch ein benutzerdefiniert trainiertes YOLO11-Modell verwenden, wenn Sie eines mit Ihrem eigenen Datensatz trainiert haben.

Im folgenden Code-Snippet wird eine vortrainierte YOLO11-Modelldatei namens "yolo11n.pt" verwendet. Während des Exportvorgangs wird sie in ein CoreML-Paket namens "yolo11n.mlpackage" konvertiert.

Das Modell "yolo11n" ist die Nano-Version, optimiert für Geschwindigkeit und geringen Ressourcenverbrauch. Je nach den Anforderungen Ihres Projekts können Sie auch andere Modellgrößen wie "s" für klein, "m" für mittel, "l" für groß oder "x" für extra-groß wählen. Jede Version bietet ein anderes Gleichgewicht zwischen Leistung und Genauigkeit.

‍

from ultralytics import YOLO

model = YOLO("yolo11n.pt")

model.export(format="coreml")

‍

Schritt 3: Inferenz mit dem exportierten CoreML-Modell ausführen

Nach dem Export in das CoreML-Format kann YOLO11 einfach in iOS-Anwendungen integriert werden, wodurch Echtzeit-Computer-Vision-Aufgaben wie Objekterkennung auf Geräten wie iPhones, iPads und Macs ermöglicht werden.

Das folgende Code-Snippet demonstriert beispielsweise, wie das exportierte CoreML-Modell geladen und eine Inferenz durchgeführt wird. Inferenz ist der Prozess, bei dem ein trainiertes Modell verwendet wird, um Vorhersagen über neue Daten zu treffen. In diesem Fall analysiert das Modell ein Bild einer Familie, die mit einem Ball spielt.

‍

coreml_model = YOLO("yolo11n.mlpackage")

results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)

‍

Nach Ausführung des Codes wird das Ausgabebild im Ordner „runs/detect/predict“ gespeichert.

‍

Wo können die exportierten CoreML-Modelle verwendet werden?

Der Export von YOLOv8 nach CoreML bietet die Flexibilität, vielfältige Computer-Vision-Anwendungen zu entwickeln, die effizient auf iPhones, iPads und Macs laufen können. Als Nächstes wollen wir uns einige reale Szenarien ansehen, in denen diese Integration besonders nützlich sein kann.

Augmented-Reality- und Gaming-Apps, unterstützt durch CoreML-Modelle

Augmented Reality (AR) vermischt digitale Inhalte mit der realen Welt, indem virtuelle Elemente über Live-Kamerabilder gelegt werden. Sie entwickelt sich zu einem wichtigen Bestandteil des Mobile Gaming und schafft interaktivere und immersivere Erlebnisse.

Mit YOLO11, das in das CoreML-Format exportiert wurde, können iOS-Entwickler AR-Spiele entwickeln, die mithilfe der Telefonkamera reale Objekte wie Bänke, Bäume oder Schilder erkennen. Das Spiel kann dann virtuelle Elemente wie Münzen, Hinweise oder Kreaturen über diese Objekte legen, um die Umgebung des Spielers zu erweitern.

Hinter den Kulissen funktioniert dies mit Objekterkennung und Objektverfolgung. YOLO11 erkennt und identifiziert Objekte in Echtzeit, während die Verfolgung diese Objekte im Blick behält, wenn sich die Kamera bewegt, und stellt sicher, dass die virtuellen Elemente mit der realen Welt übereinstimmen.

Spieler können ihre Telefone ausrichten, ihre Umgebung erkunden und mit dem, was sie sehen, interagieren, um Gegenstände zu sammeln oder schnelle Herausforderungen zu meistern. All dies kann direkt auf dem Gerät ablaufen, ohne dass eine Internetverbindung erforderlich ist, was die Erfahrung reibungslos und fesselnd macht.

In iOS integrierte Apps mit CoreML-Modellen für Echtzeit-ANPR

Automatic Number Plate Recognition (ANPR) ist eine Computer-Vision-Anwendung, die zum Erkennen und Lesen von Fahrzeugkennzeichen verwendet wird. Sie wird häufig in Sicherheits-, Verkehrsüberwachungs- und Zugangskontrollsystemen eingesetzt. Mit CoreML und Modellen wie YOLO11 kann ANPR jetzt effizient auf iOS-Geräten ausgeführt werden. 

Eine ANPR-App auf Ihrem iPhone kann besonders in sicherheitsorientierten Umgebungen nützlich sein. Sie kann beispielsweise Teams helfen, schnell festzustellen, ob ein Fahrzeug, das in einen Sperrbereich einfährt, autorisiert ist oder nicht.

Eine solche App kann ein Vision-KI-Modell wie YOLO11 verwenden, das über CoreML integriert ist, um Fahrzeuge zu erkennen und ihre Kennzeichen in Echtzeit mit der Kamera des Geräts zu lokalisieren. Sobald ein Kennzeichen erkannt wurde, kann die Optical Character Recognition (OCR)-Technologie die Kennzeichennummer lesen. Die App kann diese Nummer dann mit einer lokalen oder Cloud-basierten Datenbank vergleichen, um den Zugriff zu überprüfen oder unbefugte Fahrzeuge zu kennzeichnen.

‍

Apps, die sich auf Barrierefreiheit konzentrieren, können CoreML-Modelle nutzen

KI hat einen großen Einfluss auf die Barrierefreiheit gehabt und dazu beigetragen, Barrieren für Menschen mit Sehbehinderungen abzubauen. Mit Tools wie CoreML und Computer-Vision-Modellen wie YOLO11 können Entwickler iOS-Apps erstellen, die die Welt um die Benutzer herum in Echtzeit beschreiben und alltägliche Aufgaben einfacher und unabhängiger machen.

Zum Beispiel kann eine sehbehinderte Person ihre iPhone-Kamera auf ihre Umgebung richten. Die App verwendet Objekterkennung, um Schlüsselelemente wie Fahrzeuge, Personen oder Straßenschilder zu erkennen und erzählt, was sie sieht. Dies kann in Situationen wie der Navigation auf einer belebten Straße oder dem Verständnis eines Notfalls verwendet werden.

‍

Wesentliche Erkenntnisse

Der Export von YOLOv8 in das CoreML-Format schafft neue Möglichkeiten für Echtzeit-Anwendungen, einschließlich der Offline-Objekterkennung auf iOS-Geräten. Von der Landwirtschaft über die Sicherheit bis hin zur Barrierefreiheit ermöglicht diese Kombination Entwicklern, intelligente, effiziente und datenschutzorientierte Apps zu entwickeln, die vollständig auf dem Gerät laufen.

Mit nur wenigen einfachen Schritten können Sie Ihr YOLO11-Modell konvertieren und iPhones mit zuverlässigen Computer-Vision-Funktionen ausstatten. Das Beste daran ist, dass es ohne Internetverbindung funktioniert. Insgesamt bringt die CoreML-Integration die Leistungsfähigkeit fortschrittlicher KI in alltägliche mobile Apps und macht sie schneller, reaktionsfähiger und überall einsatzbereit.

Möchten Sie mehr über KI erfahren? Erkunden Sie unser GitHub-Repository, vernetzen Sie sich mit unserer Community und informieren Sie sich über unsere Lizenzoptionen, um Ihr Computer-Vision-Projekt zu starten. Finden Sie auf unseren Lösungsseiten heraus, wie Innovationen wie KI im Einzelhandel und Computer Vision in der Logistik die Zukunft gestalten.