Googles PaliGemma 2: Einblicke in fortschrittliche VLM-Modelle

Am 5. Dezember 2024 stellte Google PaliGemma 2 vor, die neueste Version seines Bild-Sprach-Modells (VLM). PaliGemma 2 ist für Aufgaben konzipiert, bei denen Bilder und Text kombiniert werden, etwa zum Erstellen von Bildunterschriften, Beantworten visueller Fragen und Erkennen von Objekten in Bildern.

PaliGemma 2 baut auf dem ursprünglichen PaliGemma auf, das sich bereits als leistungsstarkes Werkzeug für mehrsprachige Bildbeschreibungen und Objekterkennung bewährt hatte, und bietet mehrere wichtige Verbesserungen. Dazu gehören größere Modellvarianten, die Unterstützung höher aufgelöster Bilder und eine bessere Leistung bei komplexen visuellen Aufgaben. Diese Verbesserungen machen das Modell noch flexibler und vielseitiger einsetzbar.

In diesem Artikel werfen wir einen genaueren Blick auf PaliGemma 2 und beschäftigen uns damit, wie es funktioniert, welche Funktionen es bietet und bei welchen Anwendungen es besonders überzeugt.

Von Gemma 2 zu PaliGemma 2#

PaliGemma 2 basiert auf zwei Schlüsseltechnologien: dem Bildencoder SigLIP und dem Sprachmodell Gemma 2. Der SigLIP-Encoder verarbeitet visuelle Daten wie Bilder oder Videos und zerlegt sie in Merkmale, die das Modell analysieren kann. Gemma 2 verarbeitet dagegen Text und ermöglicht dem Modell, mehrsprachige Texte zu verstehen und zu erzeugen. Zusammen bilden sie ein VLM, das visuelle und textuelle Informationen interpretieren und miteinander verknüpfen kann.

PaliGemma 2 stellt dank seiner Skalierbarkeit und Vielseitigkeit einen bedeutenden Fortschritt dar. Anders als die ursprüngliche Version ist PaliGemma 2 in drei Größen erhältlich: mit 3 Milliarden (3B), 10 Milliarden (10B) und 28 Milliarden (28B) Parametern. Diese Parameter sind wie interne Einstellungen des Modells und helfen ihm, Daten effektiv zu lernen und zu verarbeiten. Das Modell unterstützt außerdem verschiedene Bildauflösungen (z. B. 224 x 224 Pixel für schnelle Aufgaben und 896 x 896 für detaillierte Analysen) und lässt sich so an verschiedene Anwendungen anpassen.

Abb. 1 Überblick über PaliGemma 2.

Durch die Kombination der fortschrittlichen Sprachfunktionen von Gemma 2 mit der Bildverarbeitung von SigLIP wird PaliGemma 2 deutlich leistungsfähiger. Es kann Aufgaben wie die folgenden bewältigen:

• Bild- oder Videobeschreibungen erstellen: Das Modell kann detaillierte Textbeschreibungen visueller Inhalte erstellen und eignet sich dadurch für die automatische Generierung von Bildunterschriften.
• Visuelle Fragen beantworten: PaliGemma 2 kann Fragen zu Bildern beantworten, etwa dazu, welche Objekte, Personen oder Handlungen in einer Szene zu sehen sind.
• Objekterkennung: Das Modell erkennt und benennt Objekte in einem Bild, zum Beispiel indem es auf einem Foto eine Katze, einen Tisch oder ein Auto voneinander unterscheidet.

PaliGemma 2 verarbeitet Bilder und Text nicht nur getrennt, sondern verknüpft sie sinnvoll miteinander. Das Modell kann zum Beispiel Beziehungen in einer Szene verstehen, etwa „Die Katze sitzt auf dem Tisch“, oder Objekte erkennen und dabei Kontext einbeziehen, beispielsweise eine berühmte Sehenswürdigkeit identifizieren.

So funktionieren Googles PaliGemma-2-VLM-Modelle#

Als Nächstes sehen wir uns anhand des Diagramms im Bild unten ein Beispiel an, um besser zu verstehen, wie PaliGemma 2 visuelle und textuelle Daten verarbeitet. Angenommen, du lädst dieses Diagramm hoch und fragst das Modell: „Was stellt dieses Diagramm dar?“

Abb. 2 Ein Beispiel für die Fähigkeiten von PaliGemma 2.

Der Prozess beginnt mit dem SigLIP-Bildencoder von PaliGemma 2, der Bilder analysiert und wichtige Merkmale extrahiert. Bei einem Diagramm umfasst das beispielsweise die Erkennung von Achsen, Datenpunkten und Beschriftungen. Der Encoder ist darauf trainiert, sowohl allgemeine Muster als auch feine Details zu erfassen. Außerdem nutzt er optische Zeichenerkennung (OCR), um in das Bild eingebetteten Text zu erkennen und zu verarbeiten. Diese visuellen Merkmale werden in Tokens umgewandelt, also in numerische Darstellungen, die das Modell verarbeiten kann. Anschließend werden die Tokens mithilfe einer linearen Projektionsschicht angepasst. Dadurch können sie mit Textdaten kombiniert werden.

Gleichzeitig verarbeitet das Sprachmodell Gemma 2 die zugehörige Anfrage, um deren Bedeutung und Absicht zu bestimmen. Der Text der Anfrage wird in Tokens umgewandelt und mit den visuellen Tokens von SigLIP kombiniert, um eine multimodale Repräsentation zu erstellen – ein einheitliches Format, das visuelle und textuelle Daten miteinander verknüpft.

Auf Grundlage dieser integrierten Repräsentation erstellt PaliGemma 2 schrittweise eine Antwort mithilfe der autoregressiven Dekodierung. Bei diesem Verfahren sagt das Modell jeweils einen Teil der Antwort voraus, gestützt auf den Kontext, den es bereits verarbeitet hat.

Zentrale Fähigkeiten von PaliGemma 2#

Nachdem wir nun die Funktionsweise erläutert haben, sehen wir uns die wichtigsten Eigenschaften an, die PaliGemma 2 zu einem zuverlässigen Bild-Sprach-Modell machen:

• Flexibilität beim Feinabstimmen: Passt sich einfach an bestimmte Datensätze und Aufgaben an und erzielt gute Ergebnisse bei Anwendungen wie Bildbeschreibungen, räumlichem Denken und medizinischer Bildgebung.
• Vielfältige Trainingsdaten: Das Training erfolgte mit Datensätzen wie WebLI und Open Images. Dadurch verfügt das Modell über ausgeprägte Fähigkeiten zur Objekterkennung und kann mehrsprachige Ausgaben erzeugen.
• OCR-Integration: Die optische Zeichenerkennung extrahiert und interpretiert Text aus Bildern. Dadurch eignet sich das Modell ideal für die Dokumentenanalyse und andere textbasierte Aufgaben.
• Mehrsprachige Ausgaben: Das Modell erstellt Bildunterschriften und Antworten in mehreren Sprachen und eignet sich dadurch ideal für globale Anwendungen.
• Integration mit Werkzeugen: Das Modell ist mit Frameworks wie Hugging Face Transformers, PyTorch und Keras kompatibel und lässt sich dadurch einfach bereitstellen und erproben.

PaliGemma 2 und PaliGemma im Vergleich: Was hat sich verbessert?#

Ein Blick auf die Architektur der ersten PaliGemma-Version zeigt gut, welche Verbesserungen PaliGemma 2 bietet. Eine der bemerkenswertesten Änderungen ist der Ersatz des ursprünglichen Gemma-Sprachmodells durch Gemma 2, das sowohl Leistung als auch Effizienz deutlich verbessert.

Gemma 2 ist mit 2B, 9B und 27B Parametern erhältlich und wurde entwickelt, um eine branchenführende Genauigkeit und Geschwindigkeit zu bieten und gleichzeitig die Bereitstellungskosten zu senken. Möglich macht das eine neu gestaltete Architektur, die für effiziente Inferenz auf unterschiedlichen Hardwarekonfigurationen optimiert ist – von leistungsstarken GPUs bis hin zu leichter zugänglichen Konfigurationen.

Abb. 3 Ein Rückblick auf die erste Version von PaliGemma.

Daher ist PaliGemma 2 ein äußerst genaues Modell. Die 10B-Version von PaliGemma 2 erzielt einen niedrigeren NES-Wert (Non-Entailment Sentence) von 20,3 als das ursprüngliche Modell mit 34,3. Das bedeutet, dass die Ausgaben weniger sachliche Fehler enthalten. Diese Fortschritte machen PaliGemma 2 skalierbarer, präziser und vielseitiger für ein breiteres Anwendungsspektrum – von detaillierten Bildbeschreibungen bis hin zu visueller Fragebeantwortung. Neuere Gemma-4-Modelle von Google wie Gemma 4 26B werden im VLM-Leaderboard mit anderen Bild-Sprach-Modellen bei der Objekterkennung in realen Situationen verglichen.

Anwendungen von PaliGemma 2: praktische Einsatzmöglichkeiten von VLM-Modellen#

PaliGemma 2 lässt sich in vielen Branchen einsetzen, da es visuelles Verständnis mit Sprachverständnis verbindet. Im Bereich Barrierefreiheit kann es beispielsweise detaillierte Beschreibungen von Objekten, Szenen und räumlichen Beziehungen erstellen und so Menschen mit Sehbehinderung wichtige Unterstützung bieten. Diese Fähigkeit hilft Nutzern, ihre Umgebung besser zu verstehen und alltägliche Aufgaben selbstständiger zu bewältigen.

Abb. 4 PaliGemma 2 kann die Welt barrierefreier machen.

Neben der Barrierefreiheit entfaltet PaliGemma 2 auch in verschiedenen Branchen Wirkung, darunter:

• E-Commerce: Das Modell verbessert die Produktkategorisierung, indem es Artikel auf Bildern analysiert und beschreibt. Dadurch wird die Lagerverwaltung vereinfacht und die Suche für Nutzerinnen und Nutzer verbessert.
• Gesundheitswesen: Das Modell unterstützt medizinisches Fachpersonal, indem es medizinische Bildgebung wie Röntgenbilder und MRT-Aufnahmen zusammen mit klinischen Notizen auswertet und so genauere, fundiertere Diagnosen ermöglicht.
• Bildung: PaliGemma 2 unterstützt Lehrkräfte dabei, anschauliche und barrierefreie Lernmaterialien zu erstellen, indem das Modell Bildunterschriften generiert und zusätzliche Informationen zu Bildern bereitstellt.
• Inhaltserstellung: Das Modell automatisiert die Erstellung von Bildunterschriften und visuellen Beschreibungen für Multimedia-Inhalte und spart so Kreativen Zeit.

Probiere es selbst aus: PaliGemma 2#

Um PaliGemma 2 auszuprobieren, kannst du mit der interaktiven Demo von Hugging Face beginnen. Damit kannst du die Fähigkeiten des Modells bei Aufgaben wie der Erstellung von Bildunterschriften und der visuellen Beantwortung von Fragen erkunden. Lade einfach ein Bild hoch und stelle dem Modell Fragen dazu oder bitte um eine Beschreibung der Szene.

Abb. 5. Eine Demo von PaliGemma 2 (Quelle: Hugging Face).

Wenn du tiefer einsteigen möchtest, kannst du hier selbst Hand anlegen:

• Vortrainierte Modelle: Du kannst auf Plattformen wie Hugging Face und Kaggle auf vortrainierte Modelle und Code zugreifen. Diese Ressourcen bieten alles, was du für den Einstieg in die Arbeit mit dem Modell benötigst.
• Notebooks: Es gibt eine umfassende Dokumentation und Beispiel-Notebooks, mit denen du dich mit PaliGemma 2 vertraut machen kannst. Beginne mit Inferenzbeispielen und experimentiere damit, das Modell für bestimmte Aufgaben mit deinem eigenen Datensatz fein abzustimmen.
• Integrationen: PaliGemma 2 ist mit weit verbreiteten Frameworks wie Hugging Face Transformers, Keras, PyTorch, JAX und Gemma.cpp kompatibel, sodass du es in deine bestehenden Arbeitsabläufe integrieren kannst.

Vor- und Nachteile von Googles PaliGemma 2#

Nachdem wir uns angesehen haben, wie du mit PaliGemma 2 loslegen kannst, werfen wir nun einen genaueren Blick auf seine wichtigsten Stärken und Schwächen, die du bei der Verwendung dieser Modelle berücksichtigen solltest.

Das zeichnet PaliGemma 2 als Vision-Language-Modell aus:

• Effizienzsteigerungen: Dank der optimierten Architektur von Gemma 2 bietet PaliGemma 2 eine hohe Leistung bei geringeren Bereitstellungskosten.
• Verbesserte Sicherheitsfunktionen: PaliGemma 2 bietet deutliche Verbesserungen bei der Sicherheit während des Trainings, darunter eine robuste Filterung der Vortrainingsdaten zur Verringerung von Verzerrungen und eine strenge Bewertung anhand von Sicherheitsbenchmarks.
• Geringe Latenz bei kleineren Konfigurationen: Das 3B-Modell ermöglicht schnellere Inferenz und eignet sich daher für Anwendungsfälle, bei denen Geschwindigkeit entscheidend ist, etwa für Produktempfehlungen im E-Commerce oder Live-Supportsysteme.

Hier sind einige Bereiche, in denen PaliGemma 2 an seine Grenzen stoßen kann:

• Latenz: Die größeren Modelle sind zwar leistungsstark, können aber Latenzprobleme aufweisen, insbesondere bei Aufgaben, die sofortige Antworten erfordern, wie etwa interaktive KI-Systeme in Echtzeit.
• Abhängigkeit von großen Datensätzen: Die Leistung von PaliGemma 2 hängt stark von der Qualität und Vielfalt der Trainingsdatensätze ab. Das kann die Wirksamkeit in unterrepräsentierten Bereichen oder bei Sprachen einschränken, die nicht in den Trainingsdaten enthalten sind.
• Hoher Ressourcenbedarf: Trotz Optimierungen benötigen die Versionen mit 10B und 28B Parametern erhebliche Rechenleistung. Dadurch sind sie für kleinere Organisationen mit begrenzten Ressourcen weniger zugänglich.

Die wichtigsten Erkenntnisse#

PaliGemma 2 ist ein spannender Fortschritt bei Vision-Language-Modellen und bietet eine bessere Skalierbarkeit, mehr Flexibilität beim Feinabstimmen und eine höhere Genauigkeit. Das Modell kann für zahlreiche Anwendungen ein wertvolles Werkzeug sein – von Lösungen zur Barrierefreiheit und E-Commerce bis hin zu medizinischer Diagnostik und Bildung.

Das Modell hat zwar auch Einschränkungen, etwa den Rechenaufwand und die Abhängigkeit von hochwertigen Daten, doch seine Stärken machen es zu einer praktischen Wahl für komplexe Aufgaben, bei denen visuelle und Textdaten zusammengeführt werden. PaliGemma 2 bietet Forschenden und Entwicklern eine solide Grundlage, um das Potenzial von KI in multimodalen Anwendungen zu erkunden und auszubauen.

Werde Teil des KI-Diskurses und entdecke unser GitHub-Repository und unsere Community. Erfahre, wie KI in der Landwirtschaft und im Gesundheitswesen Fortschritte ermöglicht!