CV-Projekte mit den Open-Source-Tools von Hugging Face voranbringen

Die richtigen Algorithmen auszuwählen, ist nur ein Teil der Entwicklung leistungsfähiger Computer-Vision-Lösungen. KI-Ingenieure arbeiten häufig mit großen Datensätzen, passen Modelle für bestimmte Aufgaben an und optimieren KI-Systeme für den Einsatz in der Praxis. Da KI-Anwendungen immer schneller eingesetzt werden, wächst auch der Bedarf an Tools, die diese Prozesse vereinfachen.

Bei YOLO Vision 2024 (YV24), der jährlichen hybriden Veranstaltung von Ultralytics, kamen KI-Experten und Technikbegeisterte zusammen, um die neuesten Entwicklungen im Bereich Computer Vision zu erkunden. Die Veranstaltung regte Diskussionen über verschiedene Themen an, etwa darüber, wie sich die Entwicklung von KI-Anwendungen beschleunigen lässt.

Ein Höhepunkt der Veranstaltung war eine Keynote über Hugging Face, eine Open-Source-KI-Plattform, die das Trainieren, Optimieren und Bereitstellen von Modellen vereinfacht. Pavel Iakubovskii, Machine-Learning-Ingenieur bei Hugging Face, erläuterte, wie die Tools Arbeitsabläufe für Computer-Vision-Aufgaben verbessern, etwa das Erkennen von Objekten in Bildern, das Einordnen von Bildern in verschiedene Gruppen und das Erstellen von Vorhersagen ohne vorheriges Training mit bestimmten Beispielen (Zero-Shot-Lernen).

Der Hugging Face Hub hostet verschiedene KI- und Computer-Vision-Modelle wie Ultralytics YOLO11 und bietet Zugriff darauf. In diesem Artikel fassen wir die wichtigsten Erkenntnisse aus Pavels Vortrag zusammen und zeigen, wie Entwickler die Open-Source-Tools von Hugging Face nutzen können, um KI-Modelle schnell zu erstellen und bereitzustellen.

Abb. 1. Pavel auf der Bühne bei YV24.

Der Hugging Face Hub ermöglicht eine schnellere KI-Entwicklung#

Pavel stellte Hugging Face zunächst als Open-Source-KI-Plattform vor, die vortrainierte Modelle für eine Vielzahl von Anwendungen anbietet. Diese Modelle sind für verschiedene Bereiche der KI konzipiert, darunter die Verarbeitung natürlicher Sprache (NLP), Computer Vision und multimodale KI. Dadurch können Systeme unterschiedliche Datentypen wie Text, Bilder und Audio verarbeiten.

Pavel erwähnte, dass der Hugging Face Hub inzwischen mehr als 1 Million Modelle hostet und Entwickler dort leicht Modelle finden können, die zu ihren jeweiligen Projekten passen. Hugging Face möchte die KI-Entwicklung durch Tools für das Trainieren, Feinabstimmen und Bereitstellen von Modellen vereinfachen. Wenn Entwickler mit verschiedenen Modellen experimentieren können, wird die Integration von KI in reale Anwendungen einfacher.

Hugging Face war zunächst vor allem für NLP bekannt, hat sein Angebot inzwischen aber auf Computer Vision und multimodale KI ausgeweitet. Dadurch können Entwickler ein breiteres Spektrum an KI-Aufgaben bearbeiten. Außerdem verfügt die Plattform über eine starke Community, in der Entwickler zusammenarbeiten, Erkenntnisse teilen und über Foren, Discord und GitHub Unterstützung erhalten können.

Hugging-Face-Modelle für Computer-Vision-Anwendungen erkunden#

Pavel erklärte ausführlicher, wie die Tools von Hugging Face die Entwicklung von Computer-Vision-Anwendungen erleichtern. Entwickler können sie für Aufgaben wie Bildklassifizierung, Objekterkennung und Anwendungen zur Verbindung von Bild und Sprache einsetzen.

Er wies außerdem darauf hin, dass sich viele dieser Computer-Vision-Aufgaben mit vortrainierten Modellen aus dem Hugging Face Hub bearbeiten lassen. Das spart Zeit, weil Modelle nicht von Grund auf trainiert werden müssen. Tatsächlich bietet Hugging Face mehr als 13.000 vortrainierte Modelle für Bildklassifizierungsaufgaben an, darunter Modelle zur Klassifizierung von Lebensmitteln und Haustieren sowie zur Erkennung von Emotionen.

Er betonte, wie zugänglich diese Modelle sind, und sagte: „Wahrscheinlich musst du für dein Projekt nicht einmal ein Modell trainieren – vielleicht findest du im Hub bereits eines, das von jemandem aus der Community trainiert wurde.“

Hugging-Face-Modelle zur Objekterkennung#

Als weiteres Beispiel erläuterte Pavel, wie Hugging Face bei der Objekterkennung helfen kann. Dabei handelt es sich um eine zentrale Funktion von Computer Vision, mit der Objekte in Bildern identifiziert und lokalisiert werden. Selbst bei begrenzten Mengen annotierter Daten können vortrainierte Modelle aus dem Hugging Face Hub die Objekterkennung effizienter machen.

Er gab außerdem einen kurzen Überblick über mehrere für diese Aufgabe entwickelte Modelle, die du auf Hugging Face findest:

• Modelle zur Objekterkennung in Echtzeit: In dynamischen Umgebungen, in denen Geschwindigkeit entscheidend ist, ermöglichen Modelle wie der Transformer zur Objekterkennung (DETR) die Objekterkennung in Echtzeit. DETR wird mit dem COCO-Datensatz trainiert und ist darauf ausgelegt, Merkmale aus mehreren Maßstabsebenen effizient zu verarbeiten. Dadurch eignet es sich für zeitkritische Anwendungen.
• Modelle zur Verbindung von Bild und Sprache: Diese Modelle kombinieren die Verarbeitung von Bildern und Text und ermöglichen es KI-Systemen, Bilder Beschreibungen zuzuordnen oder Objekte zu erkennen, die nicht in den Trainingsdaten enthalten waren. Beispiele sind CLIP und SigLIP, die die Bildsuche verbessern, indem sie Text mit visuellen Inhalten verknüpfen, und KI-Lösungen ermöglichen, neue Objekte anhand ihres Kontexts zu identifizieren.
• Modelle zur Zero-Shot-Objekterkennung: Sie können Objekte identifizieren, die sie zuvor nicht gesehen haben, indem sie die Beziehung zwischen Bildern und Text verstehen. Beispiele sind OwlVit, GroundingDINO und OmDet. Sie nutzen Zero-Shot-Lernen, um neue Objekte ohne annotierte Trainingsdaten zu erkennen.

So verwendest du die Modelle von Hugging Face#

Anschließend richtete Pavel den Fokus auf die praktische Arbeit mit den Modellen von Hugging Face und erläuterte drei Möglichkeiten, wie Entwickler sie nutzen können: Modelle erkunden, sie schnell testen und sie weiter anpassen.

Er zeigte, wie Entwickler Modelle direkt im Hugging Face Hub durchsuchen können, ohne Code zu schreiben. Über eine interaktive Oberfläche lassen sich Modelle so unmittelbar testen. „Du kannst es ausprobieren, ohne auch nur eine Zeile Code zu schreiben oder das Modell auf deinen Computer herunterzuladen“, ergänzte Pavel. Da einige Modelle sehr groß sind, hilft ihre Ausführung im Hub, Speicher- und Verarbeitungsbeschränkungen zu vermeiden.

Abb. 2. So verwendest du die Modelle von Hugging Face.

Außerdem können Entwickler mit der Hugging Face Inference API KI-Modelle über einfache API-Aufrufe ausführen. Sie eignet sich hervorragend für schnelle Tests, Machbarkeitsnachweise und schnelles Prototyping, ohne dass eine komplexe Einrichtung erforderlich ist.

Für anspruchsvollere Anwendungsfälle können Entwickler das Framework Hugging Face Transformers nutzen. Dieses Open-Source-Tool stellt vortrainierte Modelle für Text-, Bild- und Audioaufgaben bereit und unterstützt sowohl PyTorch als auch TensorFlow. Pavel erklärte, dass Entwickler mit nur zwei Codezeilen ein Modell aus dem Hugging Face Hub abrufen und mit einem Vorverarbeitungstool, etwa einem Bildprozessor, verknüpfen können, um Bilddaten für Vision-AI-Anwendungen zu analysieren.

KI-Arbeitsabläufe mit Hugging Face optimieren#

Als Nächstes erklärte Pavel, wie Hugging Face KI-Arbeitsabläufe optimieren kann. Ein zentrales Thema war die Optimierung des Aufmerksamkeitsmechanismus in Transformern. Dabei handelt es sich um eine Kernfunktion von Deep-Learning-Modellen, die ihnen hilft, sich auf die relevantesten Teile der Eingabedaten zu konzentrieren. Das verbessert die Genauigkeit von Aufgaben in der Sprachverarbeitung und Computer Vision. Allerdings kann dieser Mechanismus ressourcenintensiv sein.

Die Optimierung des Aufmerksamkeitsmechanismus kann den Speicherbedarf deutlich senken und gleichzeitig die Geschwindigkeit erhöhen. Pavel merkte an: „Wenn du beispielsweise auf eine effizientere Implementierung des Aufmerksamkeitsmechanismus wechselst, kannst du eine bis zu 1,8-mal höhere Geschwindigkeit erreichen.“

Hugging Face bietet im Transformers-Framework integrierte Unterstützung für effizientere Implementierungen des Aufmerksamkeitsmechanismus. Entwickler können diese Optimierungen aktivieren, indem sie beim Laden eines Modells einfach eine alternative Implementierung des Aufmerksamkeitsmechanismus angeben.

Optimum und Torch Compile#

Er sprach außerdem über Quantisierung, eine Technik, mit der KI-Modelle durch eine geringere Genauigkeit der verwendeten Zahlen verkleinert werden, ohne ihre Leistung wesentlich zu beeinträchtigen. Dadurch benötigen Modelle weniger Speicher und laufen schneller. Das macht sie besser für Geräte mit begrenzter Rechenleistung geeignet, etwa Smartphones und eingebettete Systeme.

Um die Effizienz weiter zu steigern, stellte Pavel die Bibliothek Hugging Face Optimum vor, eine Sammlung von Tools zur Optimierung und Bereitstellung von Modellen. Mit nur wenigen Codezeilen können Entwickler Quantisierungstechniken anwenden und Modelle in effiziente Formate wie ONNX (Austauschformat für neuronale Netze) umwandeln. Dadurch können sie problemlos auf verschiedenen Hardwaretypen ausgeführt werden, darunter Cloud-Server und Edge-Geräte.

Abb. 3. Pavel sprach über die Optimum-Bibliothek und ihre Funktionen.

Zum Abschluss erwähnte Pavel die Vorteile von Torch Compile, einer Funktion in PyTorch, die die Datenverarbeitung von KI-Modellen optimiert und sie dadurch schneller und effizienter macht. Hugging Face integriert Torch Compile in seine Transformers- und Optimum-Bibliotheken. So können Entwickler diese Leistungsverbesserungen mit minimalen Codeänderungen nutzen.

Durch die Optimierung der Berechnungsstruktur eines Modells kann Torch Compile die Inferenzzeiten verkürzen und die Bildrate von 29 auf 150 Bilder pro Sekunde erhöhen, ohne Genauigkeit oder Qualität zu beeinträchtigen.

Modelle mit den Tools von Hugging Face bereitstellen#

Anschließend ging Pavel kurz darauf ein, wie Entwickler Vision-AI-Modelle mit den Tools von Hugging Face erweitern und bereitstellen können, nachdem sie das passende Modell ausgewählt und den besten Entwicklungsansatz festgelegt haben.

Beispielsweise können Entwickler mit Gradio und Streamlit interaktive KI-Anwendungen bereitstellen. Mit Gradio lassen sich webbasierte Oberflächen für Machine-Learning-Modelle erstellen, während Streamlit den Aufbau interaktiver Datenanwendungen mit einfachen Python-Skripten unterstützt.

Pavel wies außerdem darauf hin: „Du musst nicht alles von Grund auf neu schreiben.“ Damit bezog er sich auf die Anleitungen, Trainingsnotebooks und Beispielskripte, die Hugging Face bereitstellt. Diese Ressourcen ermöglichen Entwicklern einen schnellen Einstieg, ohne alles von Grund auf selbst entwickeln zu müssen.

Abb. 4. Pavel erörtert bei YV24 die Möglichkeiten von Hugging Face.

Vorteile des Hugging Face Hub#

Zum Abschluss seiner Keynote fasste Pavel die Vorteile des Hugging Face Hub zusammen. Er betonte, wie die Plattform die Verwaltung von Modellen und die Zusammenarbeit vereinfacht. Außerdem hob er die verfügbaren Anleitungen, Notebooks und Tutorials hervor, die sowohl Anfängern als auch Experten helfen können, KI-Modelle zu verstehen und einzusetzen.

„Im Hub gibt es bereits viele interessante Spaces. Du kannst ähnliche Spaces finden, den geteilten Code klonen, ein paar Zeilen ändern, das Modell durch dein eigenes ersetzen und es wieder hochladen“, erklärte er und ermutigte Entwickler, die Flexibilität der Plattform zu nutzen.

Wichtige Erkenntnisse#

Während seines Vortrags bei YV24 zeigte Pavel, wie Hugging Face Tools für das Trainieren, Optimieren und Bereitstellen von KI-Modellen anbietet. Innovationen wie Transformers, Optimum und Torch Compile können Entwicklern beispielsweise dabei helfen, die Leistung von Modellen zu steigern.

Da KI-Modelle immer effizienter werden, erleichtern Fortschritte bei der Quantisierung und der Bereitstellung am Edge ihren Einsatz auf Geräten mit begrenzten Ressourcen. Diese Verbesserungen bilden zusammen mit Tools wie Hugging Face und fortschrittlichen Computer-Vision-Modellen wie Ultralytics YOLO11 eine wichtige Grundlage für die Entwicklung skalierbarer, leistungsstarker Vision-AI-Anwendungen.

Werde Teil unserer wachsenden Community! Besuche unser GitHub-Repository, um mehr über KI zu erfahren, und sieh dir unsere YOLO-Lizenzen an, um deine Vision-AI-Projekte zu starten. Interessierst du dich für Innovationen wie Computer Vision im Gesundheitswesen oder Computer Vision in der Landwirtschaft? Besuche unsere Lösungsseiten und erfahre mehr!