Googles PaliGemma 2: Einblicke in fortschrittliche Bild-Sprach-Modelle

Am 5. Dezember 2024 stellte Google PaliGemma 2 vor, die neueste Version seines hochmodernen Vision-Language-Modells (VLM). PaliGemma 2 ist für Aufgaben konzipiert, die Bilder und Text kombinieren, etwa das Erzeugen von Bildunterschriften, das Beantworten visueller Fragen und das Erkennen von Objekten in Bildern.

PaliGemma 2 baut auf dem ursprünglichen PaliGemma auf, das bereits ein leistungsfähiges Werkzeug für mehrsprachige Bildbeschriftung und Objekterkennung war, und bringt mehrere wichtige Verbesserungen. Dazu gehören größere Modellvarianten, die Unterstützung höherer Bildauflösungen und eine bessere Leistung bei komplexen visuellen Aufgaben. Diese Erweiterungen machen das Modell noch flexibler und effektiver für eine Vielzahl von Einsatzbereichen.

In diesem Artikel sehen wir uns PaliGemma 2 genauer an, einschließlich seiner Funktionsweise, seiner wichtigsten Merkmale und der Anwendungsbereiche, in denen es besonders leistungsfähig ist. Legen wir los!

Von Gemma 2 zu PaliGemma 2#

PaliGemma 2 basiert auf zwei zentralen Technologien: dem SigLIP-Bildencoder und dem Sprachmodell Gemma 2. Der SigLIP-Encoder verarbeitet visuelle Daten wie Bilder oder Videos und zerlegt sie in Merkmale, die das Modell analysieren kann. Gemma 2 verarbeitet währenddessen Text und ermöglicht es dem Modell, mehrsprachige Sprache zu verstehen und zu erzeugen. Zusammen bilden sie ein VLM, das visuelle und textuelle Informationen nahtlos interpretieren und miteinander verknüpfen kann.

Was PaliGemma 2 zu einem bedeutenden Fortschritt macht, sind seine Skalierbarkeit und Vielseitigkeit. Anders als die ursprüngliche Version ist PaliGemma 2 in drei Größen erhältlich: 3 Milliarden (3B), 10 Milliarden (10B) und 28 Milliarden (28B) Parameter. Diese Parameter sind vergleichbar mit den internen Einstellungen des Modells und helfen ihm, Daten effektiv zu lernen und zu verarbeiten. Außerdem unterstützt es verschiedene Bildauflösungen, beispielsweise 224 x 224 Pixel für schnelle Aufgaben und 896 x 896 für detaillierte Analysen, wodurch es sich an unterschiedliche Anwendungen anpassen lässt.

Abb. 1 Eine Übersicht über PaliGemma 2.

Die Integration der fortschrittlichen Sprachfunktionen von Gemma 2 mit der Bildverarbeitung von SigLIP macht PaliGemma 2 deutlich intelligenter. Es kann Aufgaben wie die folgenden bewältigen:

• Bilder oder Videos beschriften: Das Modell kann detaillierte Textbeschreibungen visueller Inhalte erzeugen und eignet sich dadurch für die automatische Erstellung von Bildunterschriften.
• Visuelle Fragen beantworten: PaliGemma 2 kann Fragen auf Grundlage von Bildern beantworten, etwa Objekte, Personen oder Handlungen in einer Szene identifizieren.
• Objekterkennung: Das Modell identifiziert und beschriftet Objekte in einem Bild, beispielsweise indem es auf einem Foto eine Katze, einen Tisch oder ein Auto voneinander unterscheidet.

PaliGemma 2 verarbeitet Bilder und Text nicht nur getrennt voneinander, sondern führt sie auf sinnvolle Weise zusammen. So kann es beispielsweise Beziehungen innerhalb einer Szene verstehen, etwa erkennen, dass „Die Katze sitzt auf dem Tisch“, oder Objekte identifizieren und dabei Kontext berücksichtigen, beispielsweise ein berühmtes Wahrzeichen erkennen.

Funktionsweise der VLM-Modelle PaliGemma 2 von Google#

Als Nächstes sehen wir uns anhand des unten abgebildeten Diagramms ein Beispiel an, um besser zu verstehen, wie PaliGemma 2 visuelle und textuelle Daten verarbeitet. Angenommen, du lädst dieses Diagramm hoch und fragst das Modell: „Was stellt dieses Diagramm dar?“

Abb. 2 Ein Beispiel für die Fähigkeiten von PaliGemma 2.

Der Prozess beginnt mit dem SigLIP-Bildencoder von PaliGemma 2, der Bilder analysiert und wichtige Merkmale extrahiert. Bei einem Diagramm gehört dazu, Elemente wie Achsen, Datenpunkte und Beschriftungen zu identifizieren. Der Encoder wird darauf trainiert, sowohl übergeordnete Muster als auch feine Details zu erfassen. Außerdem nutzt er optische Zeichenerkennung (OCR), um in das Bild eingebetteten Text zu erkennen und zu verarbeiten. Diese visuellen Merkmale werden in Token umgewandelt, also numerische Darstellungen, die das Modell verarbeiten kann. Anschließend werden diese Token mithilfe einer linearen Projektionsschicht angepasst. Diese Technik stellt sicher, dass sie nahtlos mit textuellen Daten kombiniert werden können.

Gleichzeitig verarbeitet das Sprachmodell Gemma 2 die begleitende Anfrage, um deren Bedeutung und Absicht zu bestimmen. Der Text der Anfrage wird in Token umgewandelt, die anschließend mit den visuellen Token von SigLIP kombiniert werden, um eine multimodale Darstellung zu erstellen, ein einheitliches Format, das visuelle und textuelle Daten miteinander verknüpft.

Mithilfe dieser integrierten Darstellung erzeugt PaliGemma 2 schrittweise eine Antwort durch autoregressives Decoding. Dabei sagt das Modell jeweils einen Teil der Antwort auf Grundlage des Kontexts voraus, den es bereits verarbeitet hat.

Zentrale Fähigkeiten von PaliGemma 2#

Nachdem wir nun verstanden haben, wie PaliGemma 2 funktioniert, sehen wir uns die wichtigsten Merkmale an, die es zu einem zuverlässigen Vision-Language-Modell machen:

• Flexibilität bei der Feinabstimmung: Das Modell lässt sich problemlos an bestimmte Datensätze und Aufgaben anpassen und erzielt gute Ergebnisse bei Anwendungen wie Bildbeschriftung, räumlichem Schlussfolgern und medizinischer Bildgebung.
• Vielfältige Trainingsdaten: Das Modell wurde mit Datensätzen wie WebLI und OpenImages trainiert, wodurch es über starke Fähigkeiten zur Objekterkennung und zur Erzeugung mehrsprachiger Ausgaben verfügt.
• OCR-Integration: Umfasst optische Zeichenerkennung zur Extraktion und Interpretation von Text aus Bildern und eignet sich dadurch ideal für die Dokumentenanalyse und andere textbasierte Aufgaben.
• Mehrsprachige Ausgaben: Erzeugt Bildunterschriften und Antworten in mehreren Sprachen und eignet sich dadurch ideal für globale Anwendungen.
• Integration mit Werkzeugen: Das Modell ist mit Frameworks wie Hugging Face Transformers, PyTorch und Keras kompatibel und ermöglicht eine einfache Bereitstellung und Erprobung.

PaliGemma 2 und PaliGemma im Vergleich: Was wurde verbessert?#

Ein Blick auf die Architektur der ersten PaliGemma-Version ist eine gute Möglichkeit, die Verbesserungen von PaliGemma 2 zu erkennen. Eine der auffälligsten Änderungen ist der Austausch des ursprünglichen Sprachmodells Gemma durch Gemma 2, das deutliche Verbesserungen sowohl bei der Leistung als auch bei der Effizienz bietet.

Gemma 2 ist in den Parametergrößen 9B und 27B verfügbar und wurde entwickelt, um eine branchenführende Genauigkeit und Geschwindigkeit bei gleichzeitig niedrigeren Bereitstellungskosten zu erreichen. Möglich wird dies durch eine überarbeitete Architektur, die für eine effiziente Inferenz auf verschiedenen Hardwarekonfigurationen optimiert ist – von leistungsstarken GPUs bis hin zu leichter zugänglichen Konfigurationen.

Abb. 3 Rückblick auf die erste Version von PaliGemma 2.

Daher ist PaliGemma 2 ein äußerst genaues Modell. Die 10B-Version von PaliGemma 2 erzielt einen niedrigeren NES-Wert (Non-Entailment Sentence) von 20,3 im Vergleich zu 34,3 beim ursprünglichen Modell, was auf weniger faktische Fehler in den Ausgaben hindeutet. Diese Fortschritte machen PaliGemma 2 skalierbarer, präziser und anpassungsfähiger für ein breiteres Anwendungsspektrum – von detaillierter Bildbeschriftung bis hin zur Beantwortung visueller Fragen.

Anwendungen von PaliGemma 2: VLM-Modelle in der Praxis#

PaliGemma 2 hat das Potenzial, Branchen durch die nahtlose Verbindung visuellen und sprachlichen Verständnisses neu zu gestalten. Im Bereich der Barrierefreiheit kann es beispielsweise detaillierte Beschreibungen von Objekten, Szenen und räumlichen Beziehungen erzeugen und dadurch Menschen mit Sehbehinderungen wichtige Unterstützung bieten. Diese Fähigkeit hilft Nutzern, ihre Umgebung besser zu verstehen, und ermöglicht ihnen mehr Selbstständigkeit bei alltäglichen Aufgaben.

Abb. 4 PaliGemma 2 kann die Welt zugänglicher machen.

Neben der Barrierefreiheit wirkt sich PaliGemma 2 auch auf verschiedene Branchen aus, darunter:

• E-Commerce: Das Modell verbessert die Produktkategorisierung, indem es Artikel in Bildern analysiert und beschreibt. Dadurch wird die Bestandsverwaltung vereinfacht und die Sucherfahrung für Nutzer verbessert.
• Gesundheitswesen: Das Modell unterstützt medizinisches Fachpersonal, indem es medizinische Bilddaten wie Röntgenaufnahmen und MRTs zusammen mit klinischen Notizen interpretiert, um genauere und fundiertere Diagnosen zu ermöglichen.
• Bildung: PaliGemma 2 unterstützt Lehrkräfte bei der Erstellung anschaulicher und barrierefreier Lernmaterialien, indem es Bildunterschriften erzeugt und Kontextinformationen zu Bildern bereitstellt.
• Inhaltserstellung: Das Modell automatisiert die Erstellung von Bildunterschriften und visuellen Beschreibungen für multimediale Inhalte und spart dadurch den Erstellern Zeit.

Probiere PaliGemma 2 selbst aus#

Um PaliGemma 2 auszuprobieren, kannst du mit der interaktiven Demo von Hugging Face beginnen. Damit kannst du seine Fähigkeiten bei Aufgaben wie Bildbeschriftung und visueller Fragebeantwortung erkunden. Lade einfach ein Bild hoch und stelle dem Modell Fragen dazu oder fordere eine Beschreibung der Szene an.

Abb. 5. Eine Demo von PaliGemma 2 (Quelle: Hugging Face).

Wenn du tiefer einsteigen möchtest, kannst du folgendermaßen praktisch loslegen:

• Vortrainierte Modelle: Du kannst vortrainierte Modelle und Code von Plattformen wie Hugging Face und Kaggle beziehen. Diese Ressourcen bieten alles, was du für den Einstieg in die Arbeit mit dem Modell benötigst.
• Notebooks: Es gibt eine umfassende Dokumentation und Beispielnotebooks, mit denen du dich mit PaliGemma 2 vertraut machen kannst. Du kannst mit Inferenzbeispielen beginnen und die Feinabstimmung des Modells für bestimmte Aufgaben mit deinem eigenen Datensatz ausprobieren.
• Integrationen: PaliGemma 2 ist mit weit verbreiteten Frameworks wie Hugging Face Transformers, Keras, PyTorch, JAX und Gemma.cpp kompatibel, sodass du es problemlos in deine bestehenden Arbeitsabläufe integrieren kannst.

Vor- und Nachteile von Googles PaliGemma 2#

Nachdem du nun weißt, wie du mit PaliGemma 2 beginnen kannst, sehen wir uns seine wichtigsten Stärken und Nachteile genauer an, die du bei der Verwendung dieser Modelle berücksichtigen solltest.

Das zeichnet PaliGemma 2 als Vision-Language-Modell aus:

• Effizienzsteigerungen: Dank der optimierten Architektur von Gemma 2 bietet PaliGemma 2 eine hohe Leistung bei gleichzeitig niedrigeren Bereitstellungskosten.
• Verbesserte Sicherheitsfunktionen: PaliGemma 2 bietet wesentliche Verbesserungen bei der Sicherheit im Trainingsprozess, darunter eine robuste Filterung der Vortrainingsdaten zur Verringerung von Verzerrungen und eine strenge Bewertung anhand von Sicherheitsbenchmarks.
• Geringe Latenz bei kleineren Konfigurationen: Das 3B-Modell bietet kürzere Inferenzzeiten und eignet sich dadurch für Anwendungsfälle, bei denen Geschwindigkeit entscheidend ist, etwa Produktempfehlungen im E-Commerce oder Live-Support-Systeme.

Gleichzeitig gibt es einige Bereiche, in denen PaliGemma 2 Einschränkungen aufweisen kann:

• Latenz: Obwohl die größeren Modelle leistungsfähig sind, können insbesondere bei Aufgaben, die sofortige Antworten erfordern, Latenzprobleme auftreten, etwa bei interaktiven KI-Systemen in Echtzeit.
• Abhängigkeit von großen Datensätzen: Die Leistung von PaliGemma 2 hängt eng mit der Qualität und Vielfalt seiner Trainingsdatensätze zusammen. Dies kann seine Wirksamkeit in unterrepräsentierten Bereichen oder bei Sprachen einschränken, die nicht in den Trainingsdaten enthalten sind.
• Hoher Ressourcenbedarf: Trotz der Optimierungen benötigen die Parameter-Versionen 10B und 28B erhebliche Rechenleistung, wodurch sie für kleinere Organisationen mit begrenzten Ressourcen weniger zugänglich sind.

Wichtige Erkenntnisse#

PaliGemma 2 ist ein bemerkenswerter Fortschritt im Bereich der Vision-Language-Modelle und bietet eine verbesserte Skalierbarkeit, Flexibilität bei der Feinabstimmung und Genauigkeit. Es kann als wertvolles Werkzeug für Anwendungen dienen, die von Lösungen zur Barrierefreiheit und E-Commerce bis hin zu medizinischer Diagnostik und Bildung reichen.

Obwohl das Modell Einschränkungen wie den hohen Rechenbedarf und die Abhängigkeit von hochwertigen Daten aufweist, machen seine Stärken es zu einer praktischen Wahl für komplexe Aufgaben, die visuelle und textuelle Daten integrieren. PaliGemma 2 kann Forschern und Entwicklern eine solide Grundlage bieten, um das Potenzial von KI in multimodalen Anwendungen zu erforschen und weiter auszubauen.

Werde Teil des KI-Diskurses und entdecke unser GitHub-Repository und unsere Community. Erfahre, wie KI in der Landwirtschaft und im Gesundheitswesen Fortschritte macht! 🚀