CV-Projekte mit den Open-Source-Tools von Hugging Face voranbringen

Die Wahl der richtigen Algorithmen ist nur ein Teil der Entwicklung wirkungsvoller Computer-Vision-Lösungen. KI-Ingenieurinnen und -Ingenieure arbeiten häufig mit großen Datensätzen, passen Modelle gezielt an bestimmte Aufgaben an und optimieren KI-Systeme für den Einsatz in der Praxis. Da KI-Anwendungen immer schneller Verbreitung finden, wächst auch der Bedarf an Werkzeugen, die diese Abläufe vereinfachen.

Bei der YOLO Vision 2024 (YV24), der jährlichen Hybridveranstaltung von Ultralytics, kamen KI-Fachleute und Technikbegeisterte zusammen, um die neuesten Innovationen im Bereich Computer Vision zu erkunden. Die Veranstaltung regte Diskussionen zu verschiedenen Themen an, etwa dazu, wie sich die Entwicklung von KI-Anwendungen beschleunigen lässt.

Ein Höhepunkt der Veranstaltung war eine Keynote über Hugging Face, eine Open-Source-KI-Plattform, die das Modelltraining, die Optimierung und die Bereitstellung vereinfacht. Pavel Iakubovskii, Machine-Learning-Ingenieur bei Hugging Face, erläuterte, wie die Tools dort Arbeitsabläufe für Computer-Vision-Aufgaben verbessern. Dazu zählen das Erkennen von Objekten in Bildern, das Einordnen von Bildern in verschiedene Gruppen und das Erstellen von Vorhersagen ohne vorheriges Training anhand bestimmter Beispiele (Zero-Shot-Lernen).

Der Hugging Face Hub hostet verschiedene KI- und Computer-Vision-Modelle, etwa Ultralytics YOLO11, und stellt sie zur Verfügung. In diesem Artikel fassen wir die wichtigsten Erkenntnisse aus Pavels Vortrag zusammen und zeigen, wie Entwicklerinnen und Entwickler die Open-Source-Tools von Hugging Face nutzen können, um KI-Modelle schnell zu erstellen und bereitzustellen.

Abb. 1. Pavel auf der Bühne bei YV24.

Der Hugging Face Hub beschleunigt die KI-Entwicklung#

Zu Beginn seines Vortrags stellte Pavel Hugging Face als Open-Source-KI-Plattform vor, die vortrainierte Modelle für verschiedenste Anwendungen bereitstellt. Die Modelle sind für unterschiedliche KI-Bereiche konzipiert, darunter die Verarbeitung natürlicher Sprache (NLP), Computer Vision und multimodale KI. Damit können Systeme verschiedene Datentypen wie Text, Bilder und Audio verarbeiten.

Pavel erwähnte, dass Hugging Face Hub inzwischen über 1 Million Modelle bereitstellt und Entwickler ganz einfach Modelle finden können, die zu ihren jeweiligen Projekten passen. Hugging Face möchte die KI-Entwicklung mit Tools für das Modelltraining, das Feinabstimmen und die Bereitstellung vereinfachen. Wenn Entwickler mit verschiedenen Modellen experimentieren können, wird die Integration von KI in reale Anwendungen einfacher.

Hugging Face war zunächst vor allem für NLP bekannt, hat sein Angebot inzwischen aber auf Computer Vision und multimodale KI ausgeweitet. Dadurch können Entwicklerinnen und Entwickler ein breiteres Spektrum an KI-Aufgaben bearbeiten. Außerdem gibt es eine starke Community, in der sie sich austauschen, Erkenntnisse teilen und über Foren, Discord und GitHub Unterstützung erhalten können.

Hugging-Face-Modelle für Computer-Vision-Anwendungen erkunden#

Pavel ging näher darauf ein, wie die Tools von Hugging Face die Entwicklung von Computer-Vision-Anwendungen erleichtern. Entwicklerinnen und Entwickler können sie für Aufgaben wie Bildklassifizierung, Objekterkennung und Anwendungen zur Verbindung von Bild und Sprache einsetzen.

Er wies außerdem darauf hin, dass sich viele dieser Computer-Vision-Aufgaben mit vortrainierten Modellen aus dem Hugging Face Hub bewältigen lassen. Das spart Zeit, weil ein Training von Grund auf oft nicht nötig ist. Hugging Face bietet mehr als 13.000 vortrainierte Modelle für die Bildklassifizierung, darunter Modelle zur Klassifizierung von Lebensmitteln und Haustieren sowie zur Emotionserkennung.

Um zu verdeutlichen, wie leicht diese Modelle zugänglich sind, sagte er: „Wahrscheinlich musst du für dein Projekt nicht einmal ein Modell trainieren – vielleicht findest du im Hub ein Modell, das bereits von jemandem aus der Community trainiert wurde.“

Hugging-Face-Modelle zur Objekterkennung#

Als weiteres Beispiel erläuterte Pavel, wie Hugging Face bei der Objekterkennung helfen kann – einer zentralen Funktion im Bereich Computer Vision, mit der Objekte in Bildern identifiziert und lokalisiert werden. Selbst bei wenigen annotierten Daten können vortrainierte Modelle auf dem Hugging Face Hub die Objekterkennung effizienter machen.

Außerdem gab er einen kurzen Überblick über mehrere Modelle für diese Aufgabe, die du auf Hugging Face findest:

• Echtzeit-Objekterkennungsmodelle: Für dynamische Umgebungen, in denen Geschwindigkeit entscheidend ist, bieten Modelle wie Real-Time Detection Transformer (RT-DETR) Funktionen zur Echtzeit-Objekterkennung. RT-DETR wird mit dem COCO-Datensatz trainiert und verarbeitet Merkmale aus mehreren Maßstäben effizient, wodurch sich das Modell für zeitkritische Anwendungen eignet.
• Vision-Language-Modelle: Diese Modelle kombinieren die Verarbeitung von Bildern und Text und ermöglichen KI-Systemen, Bilder Beschreibungen zuzuordnen oder Objekte außerhalb ihrer Trainingsdaten zu erkennen. Beispiele sind CLIP und SigLIP, die die Bildsuche verbessern, indem sie Text mit visuellen Inhalten verknüpfen, und KI-Lösungen ermöglichen, neue Objekte zu erkennen, indem sie deren Kontext verstehen.
• Zero-Shot-Objekterkennungsmodelle: Sie können Objekte erkennen, die sie zuvor noch nicht gesehen haben, indem sie die Beziehung zwischen Bildern und Text verstehen. Beispiele sind OWL-ViT, Grounding DINO und OmDet, die Zero-Shot-Lernen nutzen, um neue Objekte ohne gekennzeichnete Trainingsdaten zu erkennen. Die Ultralytics-VLM-Bestenliste vergleicht solche Detektoren mit offenem Vokabular anhand von Datensätzen zur Erkennung in der realen Welt.

So verwendest du die Hugging-Face-Modelle#

Anschließend richtete Pavel den Blick auf die praktische Anwendung der Hugging-Face-Modelle und erläuterte drei Möglichkeiten, wie Entwickler sie nutzen können: Modelle erkunden, schnell testen und weiter anpassen.

Er zeigte, wie Entwickler Modelle direkt auf dem Hugging Face Hub durchsuchen können, ohne Code zu schreiben. Über eine interaktive Benutzeroberfläche lassen sich Modelle so ganz einfach sofort testen. „Du kannst es ausprobieren, ohne auch nur eine Zeile Code zu schreiben oder das Modell auf deinen Computer herunterzuladen“, fügte Pavel hinzu. Da manche Modelle sehr groß sind, hilft ihre Ausführung auf dem Hub dabei, Speicher- und Verarbeitungslimits zu umgehen.

Abb. 2: So verwendest du Hugging-Face-Modelle.

Außerdem können Entwickler mit der Hugging Face Inference API KI-Modelle über einfache API-Aufrufe ausführen. Sie eignet sich gut für schnelle Tests, Machbarkeitsnachweise und zügiges Prototyping, ohne dass eine komplexe Einrichtung erforderlich ist.

Für anspruchsvollere Anwendungsfälle können Entwickler das Transformers-Framework von Hugging Face nutzen, ein Open-Source-Tool, das vortrainierte Modelle für Text-, Bildverarbeitungs- und Audioaufgaben bereitstellt und sowohl PyTorch als auch TensorFlow unterstützt. Pavel erklärte, dass Entwickler mit nur zwei Codezeilen ein Modell aus Hugging Face Hub abrufen und mit einem Vorverarbeitungstool, etwa einem Bildprozessor, verknüpfen können, um Bilddaten für Anwendungen der visuellen KI zu analysieren.

KI-Arbeitsabläufe mit Hugging Face optimieren#

Anschließend erklärte Pavel, wie Hugging Face KI-Arbeitsabläufe optimieren kann. Ein zentrales Thema war die Optimierung des Aufmerksamkeitsmechanismus in Transformern – ein Kernmerkmal von Deep-Learning-Modellen, das ihnen hilft, sich auf die relevantesten Teile der Eingabedaten zu konzentrieren. Das verbessert die Genauigkeit von Aufgaben der Sprachverarbeitung und des maschinellen Sehens. Allerdings kann es sehr ressourcenintensiv sein.

Die Optimierung des Aufmerksamkeitsmechanismus kann den Speicherbedarf deutlich senken und gleichzeitig die Geschwindigkeit erhöhen. Pavel merkte an: „Wenn du beispielsweise zu einer effizienteren Implementierung des Aufmerksamkeitsmechanismus wechselst, kannst du eine bis zu 1,8-mal höhere Geschwindigkeit erzielen.“

Hugging Face unterstützt effizientere Implementierungen des Aufmerksamkeitsmechanismus direkt im Transformers-Framework. Entwickler können diese Optimierungen aktivieren, indem sie beim Laden eines Modells einfach eine alternative Implementierung des Aufmerksamkeitsmechanismus angeben.

Optimum und Torch Compile#

Er sprach auch über Quantisierung, eine Technik, mit der KI-Modelle kleiner werden, indem die Genauigkeit der verwendeten Zahlen reduziert wird, ohne die Genauigkeit des Modells allzu sehr zu beeinträchtigen. Dadurch benötigen Modelle weniger Speicher und laufen schneller, was sie für Geräte mit begrenzter Rechenleistung wie Smartphones und eingebettete Systeme geeigneter macht.

Um die Effizienz weiter zu steigern, stellte Pavel die Hugging-Face-Bibliothek Optimum vor, eine Sammlung von Werkzeugen zur Optimierung und Bereitstellung von Modellen. Mit nur wenigen Codezeilen können Entwickler Quantisierungstechniken anwenden und Modelle in effiziente Formate wie ONNX (Austauschformat für neuronale Netze) umwandeln. So lassen sich die Modelle reibungslos auf verschiedenen Hardwaretypen ausführen, darunter Cloud-Server und Edge-Geräte.

Abb. 3: Pavel sprach über die Optimum-Bibliothek und ihre Funktionen.

Abschließend erwähnte Pavel die Vorteile von Torch Compile, einer Funktion in PyTorch, die die Datenverarbeitung von KI-Modellen optimiert, damit sie schneller und effizienter laufen. Hugging Face integriert Torch Compile in seine Transformers- und Optimum-Bibliotheken. So können Entwickler diese Leistungsverbesserungen mit minimalen Codeänderungen nutzen.

Durch die Optimierung der Berechnungsstruktur eines Modells kann Torch Compile die Inferenz beschleunigen und die Bildrate von 29 auf 150 Bilder pro Sekunde erhöhen, ohne Genauigkeit oder Qualität zu beeinträchtigen.

Modelle mit Hugging-Face-Werkzeugen bereitstellen#

Anschließend ging Pavel kurz darauf ein, wie Entwickler Vision-AI-Modelle mithilfe von Hugging-Face-Werkzeugen erweitern und bereitstellen können, nachdem sie das passende Modell und den besten Entwicklungsansatz ausgewählt haben.

Entwickler können beispielsweise mit Gradio und Streamlit interaktive KI-Anwendungen bereitstellen. Mit Gradio lassen sich webbasierte Schnittstellen für Machine-Learning-Modelle erstellen, während Streamlit den Aufbau interaktiver Datenanwendungen mit einfachen Python-Skripten ermöglicht.

Pavel merkte außerdem an: „Du musst nicht alles von Grund auf neu schreiben.“ Damit bezog er sich auf die Anleitungen, Trainings-Notebooks und Beispielskripte von Hugging Face. Diese Ressourcen helfen Entwicklern, schnell loszulegen, ohne alles von Grund auf neu entwickeln zu müssen.

Abb. 4: Pavel erläutert die Möglichkeiten von Hugging Face auf der YV24.

Vorteile des Hugging Face Hub#

Zum Abschluss seiner Keynote fasste Pavel die Vorteile des Hugging Face Hub zusammen. Er betonte, wie sehr der Hub die Verwaltung von Modellen und die Zusammenarbeit erleichtert. Außerdem hob er die verfügbaren Anleitungen, Notebooks und Tutorials hervor, die Anfängern und Experten helfen können, KI-Modelle zu verstehen und einzusetzen.

„Auf dem Hub gibt es bereits viele spannende Spaces. Du kannst ähnliche Spaces finden, den geteilten Code klonen, ein paar Zeilen ändern, das Modell durch dein eigenes ersetzen und die Änderungen wieder hochladen“, erklärte er und ermutigte Entwickler, die Flexibilität der Plattform zu nutzen.

Die wichtigsten Erkenntnisse#

Bei seinem Vortrag auf der YV24 zeigte Pavel, wie Hugging Face Werkzeuge für das Training, die Optimierung und die Bereitstellung von KI-Modellen anbietet. Innovationen wie Transformers, Optimum und Torch Compile können Entwicklern beispielsweise helfen, die Modellleistung zu steigern.

Da KI-Modelle immer effizienter werden, erleichtern Fortschritte bei der Quantisierung und der Bereitstellung auf Edge-Geräten ihre Ausführung auf Geräten mit begrenzten Ressourcen. Diese Verbesserungen tragen gemeinsam mit Werkzeugen wie Hugging Face und fortschrittlichen Computer-Vision-Modellen wie Ultralytics YOLO11 dazu bei, skalierbare, leistungsstarke Vision-AI-Anwendungen zu entwickeln.

Werde Teil unserer wachsenden Community! In unserem GitHub-Repository erfährst du mehr über KI. Sieh dir auch unsere YOLO-Lizenzen an, um mit deinen Vision-AI-Projekten zu starten. Interessierst du dich für Innovationen wie Computer Vision im Gesundheitswesen oder Computer Vision in der Landwirtschaft? Entdecke weitere Möglichkeiten auf unseren Lösungsseiten!