Open-Source-Computer-Vision mit den Transformern von Hugging Face voranbringen

Während wir weitere Höhepunkte der Veranstaltung YOLO VISION 2023 (YV23) erkunden, lernen wir Merve Noyan kennen, Developer Advocacy Engineer bei Hugging Face, der führenden NLP-Plattform mit vortrainierten Modellen für die effiziente Entwicklung von Sprach-Apps. In ihrem Vortrag gab Merve Einblicke in die Welt der Open-Source-Computer-Vision.

Hier ist eine Zusammenfassung ihres Vortrags über Transfer Learning, Transformer und das Open-Source-Ökosystem für Computer Vision.

Transfer-Learning erklärt: ein kurzer Überblick#

Merve begann mit einer kurzen Einführung in Transfer Learning, eine Technik, bei der Wissen von einem neuronalen Netz auf ein anderes übertragen wird. Stell dir vor, ein Modell wird zunächst auf allgemeine Merkmale wie Kanten und Ecken trainiert und anschließend für bestimmte Aufgaben weiter optimiert. Das ist das Grundprinzip des Transfer Learnings: Es verringert den Datenbedarf und erhöht die Genauigkeit.

Merve stellte klassische Faltungsnetz-Backbones wie ResNet und Inception vor und bereitete damit den Weg für die anschließend behandelten Transformer-Modelle.

Die Transformer kommen ins Spiel: Ein Rätsel wird gelöst#

Was macht Transformer so besonders? Merve verglich sie mit einem Rätsel und zeigte, worin sie sich von herkömmlichen faltungsbasierten Modellen unterscheiden. Eine ihrer größten Stärken ist die Fähigkeit zum selbstüberwachten Lernen, bei dem sie Merkmale ohne beschriftete Daten erfassen. Zu den von ihr vorgestellten Transformer-Modellen gehörten Vision Transformer, Data-efficient Image Transformer (DeiT), CLIP und Swin Transformer.

Ultralytics unterstützt auch ein Transformer-Modell für die Objekterkennung: RT-DETR. Das Modell verfügt über einen leistungsfähigen hybriden Encoder, eine IoU-bewusste Abfrageauswahl und eine anpassbare Inferenzgeschwindigkeit. Bemerkenswert ist, dass es dem vertrauten Muster anderer Ultralytics-YOLOv8-Modelle folgt und Optionen für Vorhersage, Training, Validierung und Export bietet.

Alles aus einer Hand#

Merve stellte anschließend die Angebote von Hugging Face vor: mehr als 8.000 Modelle für klassische Computer-Vision-Aufgaben und 10.000 Modelle für multimodale Anwendungen. Der Hugging Face Hub bietet über 3.000 Datensätze und ist damit eine nützliche Ressource für Entwickler und Interessierte. Merve betonte, wie einfach die Nutzung dank der einheitlichen API von Hugging Face ist, die sofort einsatzbereite Modelle für verschiedene Anwendungsfälle bereitstellt.

Praktische Einblicke in Hugging Face#

Im Vortrag folgten praktische Demonstrationen, die zeigten, wie einfach sich mit Modellen arbeiten lässt. Vom Erzeugen von Modellinstanzen und Prozessoren bis zum Feinabstimmen mit der Trainer API machte Merve deutlich, dass die Hugging Face Transformers-Bibliothek auf die Bedürfnisse von Entwicklern zugeschnitten ist. Sie stellte auch die Pipeline API vor, eine ihrer persönlichen Favoriten, die den Arbeitsablauf für Nutzer vereinfacht.

Abb. 1. Merve Noyan bei ihrem Vortrag auf der YV23 am Google for Startups Campus in Madrid.

Ein Einblick in die Anwendungen#

Zum Abschluss gab Merve einen Einblick in einige Anwendungen, darunter ein Modell für visuelle Fragebeantwortung, BLIP für die Bildbeschreibung und das Segment Anything Model für die Bildsegmentierung. Im Mittelpunkt stand die Pipeline API des Hugging Face-Ökosystems, mit der sich Modelle ganz einfach nutzen lassen, ohne sich tief in die technischen Details einarbeiten zu müssen.

Das i-Tüpfelchen war Merves Vorführung, wie sich mit einem Diffusionsmodell optische Täuschungen erzeugen lassen – ein faszinierendes Erlebnis, das der Welt der KI eine spielerische Note verleiht.

Kurz gesagt!#

Merves Vortrag hat uns dazu inspiriert, die Möglichkeiten von Open-Source-Computer-Vision weiter zu erkunden. Hugging Face hat KI zugänglicher und unterhaltsamer gemacht und hilft Entwicklern, ihre Ideen umzusetzen. Auf die Zukunft der Open-Source-Community und die Innovationen, die sie hervorbringen wird!

Sieh dir den vollständigen Vortrag über Computer Vision von Hugging Face an!