Indem Sie auf „Alle Cookies akzeptieren“ klicken, stimmen Sie der Speicherung von Cookies auf Ihrem Gerät zu, um die Website-Navigation zu verbessern, die Website-Nutzung zu analysieren und unsere Marketingbemühungen zu unterstützen. Mehr Infos
Cookie-Einstellungen
Indem Sie auf „Alle Cookies akzeptieren“ klicken, stimmen Sie der Speicherung von Cookies auf Ihrem Gerät zu, um die Website-Navigation zu verbessern, die Website-Nutzung zu analysieren und unsere Marketingbemühungen zu unterstützen. Mehr Infos
Sehen Sie, wie einfach es ist, Ultralytics YOLO11 mit CoreML auf Apple-Geräte zu bringen und schnelle Offline-Computer-Vision-Aufgaben für iOS zu ermöglichen.
Mit der Einführung von Funktionen wie Apple Intelligence durch Apple ist klar, dass die KI auf dem Gerät ein zentraler Bestandteil der Nutzung unserer Telefone wird. Für Entwickler bedeutet dieser Wandel, dass die Nutzer iOS annehmen, die Funktionen wie Computer Vision nutzen, um intelligentere und reaktionsschnellere Erlebnisse zu bieten.
Computer Vision ist eine Form der künstlichen Intelligenz (AI), die es Computern ermöglicht, visuelle Informationen wie Bilder oder Videos zu verstehen und zu analysieren. Auf Mobilgeräten kann sie in Echtzeit eingesetzt werden, um Objekte über die Kamera des Telefons detect, classify und mit ihnen zu interagieren. Vision AI-Modelle wie Ultralytics YOLO11 können individuell trainiert werden, um bestimmte Objekte zu erkennen, je nach den Anforderungen Ihrer Anwendung.
Allerdings ist YOLO11 nicht von vornherein für die Verwendung unter iOS ausgelegt. Um YOLO11 auf iPhones oder anderen Apple-Geräten einzusetzen, insbesondere für die Offline-Nutzung, muss es in ein für das Apple-Ökosystem optimiertes Format konvertiert werden.
Dies ist genau die Art von Problem, für dessen Lösung CoreML entwickelt wurde. CoreML ist das Framework für maschinelles Lernen von Apple, das für die lokale Ausführung von Modellen entwickelt wurde und sich nahtlos in iOS und macOS-Anwendungen integrieren lässt. Die CoreML , die von Ultralytics unterstützt wird, macht es einfach, Ihr Modell für die lokale Bereitstellung auf iPhones zu exportieren.
In diesem Artikel sehen wir uns genauer an, wie Sie Ihr YOLO11 in das CoreML exportieren. Außerdem werden wir Anwendungsfälle in Echtzeit untersuchen, die die Vorteile der direkten Ausführung von Computer-Vision-Modellen auf iOS zeigen. Legen wir los!
Was ist CoreML?
CoreML ist ein von Apple entwickeltes Framework für maschinelles Lernen (ML), das es Entwicklern ermöglicht, trainierte ML-Modelle direkt in Apps im gesamten Apple-Ökosystem zu integrieren, einschließlich iOS (iPhone und iPad), macOS (Mac), watchOS (Apple Watch) und tvOS (Apple TV). Es wurde entwickelt, um maschinelles Lernen auf Apple-Geräten zugänglich und effizient zu machen, indem Modelle direkt auf dem Gerät ausgeführt werden können, ohne dass eine Internetverbindung erforderlich ist.
Kernstück von CoreML ist ein einheitliches Modellformat, das eine breite Palette von KI-Aufgaben wie Bildklassifizierung, Objekterkennung, Spracherkennung und Verarbeitung natürlicher Sprache unterstützt. Das Framework ist für die optimale Nutzung der Apple-Hardware optimiert und nutzt die CPU (Central Processing Unit), GPU (Graphics Processing Unit) und ANE (Apple Neural Engine), um Modelle schnell und effizient auszuführen.
CoreML unterstützt eine Vielzahl von Modelltypen und ist mit gängigen Bibliotheken für maschinelles Lernen kompatibel, darunter TensorFlow, PyTorch, scikit-learn, XGBoost und LibSVM. Dies macht es für Entwickler einfacher, fortschrittliche ML-Funktionen in alltägliche Anwendungen einzubringen und gleichzeitig sicherzustellen, dass sie auf allen Apple-Geräten reibungslos funktionieren.
Abb. 1. CoreML unterstützt Modelle aus anderen gängigen KI-Frameworks(Quelle).
Hauptmerkmale von CoreML
Im Folgenden finden Sie einige der wichtigsten Funktionen, die CoreML zu einem zuverlässigen Tool für die Integration von KI in Apple-Anwendungen machen:
Modell-Optimierung: CoreML unterstützt Komprimierungstechniken wie Quantisierung und Pruning, um die Modellgröße zu reduzieren und die Laufzeiteffizienz zu verbessern.
On-Device Personalisierung: Das ML-Framework von Apple unterstützt On-Device-Personalisierung und ermöglicht es, Modelle lokal basierend auf Benutzerinteraktionen zu trainieren und zu aktualisieren.
Asynchrone Vorhersagen: Dieses Framework ermöglicht es Ihrer App, Vorhersagen im Hintergrund auszuführen, wodurch die Benutzeroberfläche reibungslos und reaktionsschnell bleibt, während KI-Aufgaben verarbeitet werden.
Multi-Task-Lernen: CoreML unterstützt Modelle, die mehrere Aufgaben gleichzeitig ausführen können, z. B. das Erkennen von Objekten und Text im selben Bild.
Wie exportiert man YOLO11 in das CoreML ?
Nachdem wir nun ein besseres Verständnis des CoreML erlangt haben, gehen wir nun durch, wie man die von Ultralytics unterstützte CoreML verwendet, um ein YOLO11 in das CoreML zu exportieren.
Schritt 1: Einrichten Ihrer Umgebung
Um auf die von Ultralytics bereitgestellten Integrationsfunktionen zuzugreifen, installieren Sie zunächst das Ultralytics Python . Dabei handelt es sich um eine leichtgewichtige, benutzerfreundliche Bibliothek, die Aufgaben wie das Trainieren, Auswerten, Vorhersagen und Exportieren von Ultralytics YOLO vereinfacht.
Sie können dasPython installieren, indem Sie "pip install ultralytics" in Ihrem Befehlsterminal ausführen. Wenn Sie eine Umgebung wie Jupyter Notebook oder Google Colab verwenden, setzen Sie ein Ausrufezeichen (!) vor den Befehl: "!pip install ultralytics".
Wenn Sie bei der Installation oder beim Exportieren nach CoreML auf Probleme stoßen, finden Sie in der offiziellen Ultralytics oder im Leitfaden für häufige Probleme Hilfe.
Schritt 2: Exportieren von YOLO11 nach CoreML
Sobald das Paket erfolgreich installiert ist, können Sie ein YOLO11 laden und es in das CoreML konvertieren.
Wenn Sie sich nicht sicher sind, welches vortrainierte YOLO11 Sie verwenden sollen, können Sie die verschiedenen von Ultralytics unterstützten Modelle ausprobieren. Jedes bietet ein anderes Gleichgewicht von Geschwindigkeit, Größe und Genauigkeit, und Sie können das für Ihr Projekt am besten geeignete Modell auswählen. Sie können auch ein benutzerdefiniertes YOLO11 verwenden, wenn Sie es mit Ihrem eigenen Datensatz trainiert haben.
Im nachstehenden Codeschnipsel wird eine vortrainierte YOLO11 mit dem Namen "yolo11n.pt" verwendet. Während des Exportvorgangs wird sie in ein CoreML namens "yolo11n.mlpackage" umgewandelt.
Das Modell "yolo11n" ist die Nano-Version, optimiert für Geschwindigkeit und geringen Ressourcenverbrauch. Je nach den Anforderungen Ihres Projekts können Sie auch andere Modellgrößen wie "s" für klein, "m" für mittel, "l" für groß oder "x" für extra-groß wählen. Jede Version bietet ein anderes Gleichgewicht zwischen Leistung und Genauigkeit.
from ultralytics import YOLO
model = YOLO("yolo11n.pt")
model.export(format="coreml")
Schritt 3: Durchführung der Inferenz unter Verwendung des exportierten CoreML
Nach dem Export in das CoreML kann YOLO11 leicht in iOS integriert werden und ermöglicht so Echtzeit-Computer-Vision-Aufgaben wie die Objekterkennung auf Geräten wie iPhones, iPads und Macs.
Das folgende Codeschnipsel veranschaulicht beispielsweise, wie das exportierte CoreML geladen und eine Inferenz durchgeführt wird. Inferenz ist der Prozess der Verwendung eines trainierten Modells, um Vorhersagen für neue Daten zu treffen. In diesem Fall analysiert das Modell ein Bild einer Familie, die mit einem Ball spielt.
Nach Ausführung des Codes wird das Ausgabebild im Ordner "detect" gespeichert.
Abb. 2. Verwendung eines exportierten YOLO11 im CoreML zur detect Objekten. Bild vom Autor.
Wo können die exportierten CoreML verwendet werden?
Der Export von YOLO11 nach CoreML bietet die Flexibilität, verschiedene Bildverarbeitungsanwendungen zu erstellen, die effizient auf iPhones, iPads und Macs ausgeführt werden können. Als Nächstes wollen wir uns einige reale Szenarien ansehen, in denen diese Integration besonders nützlich sein kann.
Augmented-Reality- und Spiele-Apps auf Basis von CoreML
Augmented Reality (AR) vermischt digitale Inhalte mit der realen Welt, indem virtuelle Elemente über Live-Kamerabilder gelegt werden. Sie entwickelt sich zu einem wichtigen Bestandteil des Mobile Gaming und schafft interaktivere und immersivere Erlebnisse.
Mit YOLO11 , das in das CoreML exportiert wurde, können iOS AR-Spiele entwickeln, die reale Objekte wie Bänke, Bäume oder Schilder mit der Kamera des Telefons erkennen. Das Spiel kann dann virtuelle Objekte wie Münzen, Hinweise oder Kreaturen über diese Objekte legen, um die Umgebung des Spielers zu verbessern.
Hinter den Kulissen funktioniert dies mithilfe von Objekterkennung und Objektverfolgung. YOLO11 erkennt und identifiziert Objekte in Echtzeit, während die Verfolgung diese Objekte im Blick behält, wenn sich die Kamera bewegt, und dafür sorgt, dass die virtuellen Elemente mit der realen Welt ausgerichtet bleiben.
Spieler können ihre Telefone ausrichten, ihre Umgebung erkunden und mit dem, was sie sehen, interagieren, um Gegenstände zu sammeln oder schnelle Herausforderungen zu meistern. All dies kann direkt auf dem Gerät ablaufen, ohne dass eine Internetverbindung erforderlich ist, was die Erfahrung reibungslos und fesselnd macht.
Integrierte iOS mit CoreML für ANPR in Echtzeit
Die automatische Nummernschilderkennung (ANPR) ist eine Bildverarbeitungsanwendung zur detect und zum Lesen von Kfz-Kennzeichen. Sie wird häufig in Sicherheits-, Verkehrsüberwachungs- und Zugangskontrollsystemen eingesetzt. Mit CoreML und Modellen wie YOLO11 kann ANPR jetzt effizient auf iOS ausgeführt werden.
Eine ANPR-App auf Ihrem iPhone kann besonders in sicherheitsorientierten Umgebungen nützlich sein. Sie kann beispielsweise Teams helfen, schnell festzustellen, ob ein Fahrzeug, das in einen Sperrbereich einfährt, autorisiert ist oder nicht.
Eine solche App kann ein Vision-KI-Modell wie YOLO11 verwenden, das über CoreML integriert ist, um Fahrzeuge detect und ihre Nummernschilder in Echtzeit über die Kamera des Geräts zu lokalisieren. Sobald ein Nummernschild erkannt wird, kann die OCR-Technologie (Optical Character Recognition) das Kennzeichen lesen. Die App kann diese Nummer dann mit einer lokalen oder cloudbasierten Datenbank vergleichen, um den Zugang zu verifizieren oder nicht autorisierte Fahrzeuge zu kennzeichnen.
Abb. 3. Vision AI kann zum detect und Lesen von Nummernschildern verwendet werden.(Quelle).
Auf Barrierefreiheit ausgerichtete Anwendungen können CoreML nutzen
KI hat einen großen Einfluss auf die Barrierefreiheit und hilft, Barrieren für Menschen mit Sehbehinderungen abzubauen. Mit Tools wie CoreML und Computer-Vision-Modellen wie YOLO11 können Entwickler iOS entwickeln, die die Welt um den Nutzer herum in Echtzeit beschreiben und so alltägliche Aufgaben einfacher und unabhängiger machen.
Zum Beispiel kann eine sehbehinderte Person ihre iPhone-Kamera auf ihre Umgebung richten. Die App verwendet Objekterkennung, um Schlüsselelemente wie Fahrzeuge, Personen oder Straßenschilder zu erkennen und erzählt, was sie sieht. Dies kann in Situationen wie der Navigation auf einer belebten Straße oder dem Verständnis eines Notfalls verwendet werden.
Abb. 4. Ein Beispiel für die Verwendung von YOLO11 zur detect Personen
Wesentliche Erkenntnisse
Der Export von YOLO11 in das CoreML schafft neue Möglichkeiten für Echtzeitanwendungen, einschließlich der Offline-Objekterkennung auf iOS . Von der Landwirtschaft über die Sicherheit bis hin zur Barrierefreiheit ermöglicht diese Kombination Entwicklern die Entwicklung intelligenter, effizienter und datenschutzfreundlicher Anwendungen, die vollständig auf dem Gerät laufen.
Mit nur wenigen einfachen Schritten können Sie Ihr YOLO11 konvertieren und iPhones mit zuverlässigen Computer-Vision-Funktionen ausstatten. Das Beste daran ist, dass es ohne Internetverbindung funktioniert. Insgesamt bringt die CoreML die Leistung fortschrittlicher KI in alltägliche mobile Apps und macht sie schneller, reaktionsschneller und überall einsatzbereit.
