FastVLM: Apple stellt sein neues schnelles Vision-Language-Modell vor

Auf der CVPR-Konferenz 2025 stellte Apple ein neues Open-Source-KI-Modell namens FastVLM vor. Es wurde entwickelt, um sowohl Bilder als auch Sprache zu verstehen, und läuft auf Apple-Geräten wie iPhones, iPads und Macs. So liefert es schnell intelligente Ergebnisse, ohne deine Daten in die Cloud zu senden.

Besonders interessant an FastVLM ist seine hohe Geschwindigkeit und Effizienz. Apple entwickelte einen neuen Bildencoder namens FastViTHD, der dem Modell hilft, hochauflösende Bilder mit weniger Speicher und Energie zu verarbeiten. Die gesamte Verarbeitung findet direkt auf dem Gerät statt. Das sorgt für schnellere Antworten und schützt zugleich die Privatsphäre der Nutzer.

In diesem Artikel untersuchen wir, wie FastVLM funktioniert, wodurch es sich auszeichnet und warum diese Veröffentlichung von Apple ein bedeutender Schritt für KI-Anwendungen im Alltag auf deinen Geräten sein könnte.

Vision-Language-Modelle (VLMs) verstehen#

Bevor wir uns ansehen, was FastVLM besonders macht, klären wir zunächst, wofür „VLM“ in seinem Namen steht. Es bezeichnet ein Vision-Language-Modell, das visuelle Inhalte verstehen und mit Sprache verknüpfen soll.

VLMs verbinden visuelles Verständnis mit Sprache und können dadurch Aufgaben wie das Beschreiben eines Fotos, das Beantworten von Fragen zu einem Screenshot oder das Extrahieren von Text aus einem Dokument übernehmen. Vision-Language-Modelle arbeiten in der Regel in zwei Teilen: Der eine verarbeitet das Bild und wandelt es in Daten um, während der andere diese Daten interpretiert und eine Antwort erzeugt, die du lesen oder hören kannst.

Vielleicht hast du diese Art von KI-Innovation bereits genutzt, ohne es zu merken. Apps, die Quittungen scannen, Ausweise lesen, Bildunterschriften erstellen oder Menschen mit Sehbehinderung bei der Bedienung ihrer Bildschirme helfen, greifen häufig im Hintergrund auf Vision-Language-Modelle zurück.

Was ist FastVLM?#

Apple hat FastVLM entwickelt, um dieselben Aufgaben wie andere Vision-Language-Modelle zu bewältigen, dabei aber schneller, datenschutzfreundlicher und für die eigenen Geräte optimiert zu sein. Das Modell kann Bildinhalte verstehen und mit Text darauf reagieren. Anders als viele Modelle, die auf Cloud-Server angewiesen sind, kann FastVLM jedoch vollständig auf deinem iPhone, iPad oder Mac ausgeführt werden.

VLMs liefern im Allgemeinen bessere Ergebnisse mit hochauflösenden Bildern. Wie unten zu sehen ist, konnte FastVLM beispielsweise ein Straßenschild nur dann korrekt als „Do Not Enter“ erkennen, wenn es eine hochauflösende Version des Bildes erhielt. Hochauflösende Eingaben verlangsamen Modelle jedoch meist. Hier macht FastViTHD den Unterschied.

Abb. 1: Leistung von FastVLM bei Bildern mit niedriger und hoher Auflösung. (Quelle)

Der neue Bildencoder FastViTHD von Apple hilft FastVLM, hochwertige Bilder effizienter und mit weniger Speicher- und Energieverbrauch zu verarbeiten. FastViTHD ist so kompakt, dass es auch auf kleineren Geräten reibungslos läuft.

FastVLM ist außerdem öffentlich im FastVLM-GitHub-Repository verfügbar. Entwickler können dort auf den Quellcode zugreifen, ihn ändern und gemäß den Lizenzbedingungen von Apple in eigenen Apps verwenden.

FastVLM im Vergleich zu anderen VLM-Modellen#

Im Vergleich zu anderen Vision-Language-Modellen ist FastVLM für den Einsatz auf alltäglichen Geräten wie Smartphones und Laptops optimiert. In Leistungstests erzeugte FastVLM sein erstes Wort oder seine erste Ausgabe bis zu 85-mal schneller als Modelle wie LLaVA-OneVision-0.5B.

Abb. 2: Vergleich der Leistung von FastVLM mit anderen Modellen. (Quelle)

Hier siehst du einige der gängigen Benchmarks, anhand derer FastVLM bewertet wurde:

• DocVQA (visuelle Fragebeantwortung zu Dokumenten): Dieser Benchmark für visuelle Fragebeantwortung bewertet, wie gut das Modell Textinformationen in Dokumenten wie gescannten Formularen oder Seiten lesen und verstehen kann.
• TextVQA (textbasierte visuelle Fragebeantwortung): Dieser Benchmark bewertet, wie gut das Modell Bilder mit eingebettetem Text interpretieren und zugehörige Fragen korrekt beantworten kann.
• GQA: Diese Aufgabe prüft die Fähigkeit des Modells zum logischen Denken, indem es die Beziehungen zwischen Objekten und Szenen in einem Bild verstehen muss.
• MMMU (multimodales Verständnis in zahlreichen Fachgebieten): Dieser Benchmark misst die Leistung des Modells in einem breiten Spektrum akademischer Fächer und Formate und kombiniert dabei visuelles und textuelles Verständnis.
• SEED-Bench: Dieser Benchmark untersucht die allgemeinen Fähigkeiten des Modells, visuelle Inhalte in verschiedenen Bereichen zu verstehen und Schlussfolgerungen daraus zu ziehen.

Über diese Benchmarks hinweg erzielte FastVLM konkurrenzfähige Ergebnisse und benötigte dabei weniger Ressourcen. Das Modell bringt praktische visuelle KI auf Alltagsgeräte wie Smartphones, Tablets und Laptops.

Der effiziente Bildencoder von FastVLM: FastViTHD#

Als Nächstes sehen wir uns FastViTHD genauer an, den Bildencoder, der eine entscheidende Rolle für die Bildverarbeitungsleistung von FastVLM spielt.

Die meisten Vision-Language-Modelle teilen ein Bild in Tausende kleiner Abschnitte, sogenannte Tokens, auf. Je mehr Tokens ein Bild enthält, desto mehr Zeit und Energie benötigt das Modell, um es zu verstehen. Dadurch kann die Verarbeitung langsam werden, besonders auf Smartphones oder Laptops.

Abb. 3: So verarbeitet ein Bildencoder ein Bild. (Quelle)

FastViTHD vermeidet die Verlangsamung durch die Verarbeitung zu vieler Tokens, indem es weniger Tokens verwendet und dennoch das gesamte Bild versteht. Dafür kombiniert es zwei Ansätze: Transformer, die Muster und Beziehungen gut modellieren, und Faltungsschichten, die visuelle Daten effizient verarbeiten. So entsteht ein System, das schneller arbeitet und weniger Speicher benötigt.

Laut Apple ist FastViTHD bis zu 3,4-mal kleiner als einige herkömmliche Bildencoder und erreicht dennoch eine hohe Genauigkeit. Statt auf Modelloptimierungstechniken wie das Beschneiden von Tokens zu setzen (dabei werden weniger wichtige Bildabschnitte entfernt, um die Verarbeitung zu beschleunigen), erreicht FastViTHD seine Effizienz durch eine einfachere, schlankere Architektur.

Modellvarianten und Trainingspipeline von FastVLM#

Apple hat FastVLM mit drei verschiedenen Größen veröffentlicht: 0.5B, 1.5B und 7B Parameter („B“ steht für eine Milliarde und bezeichnet die Anzahl der trainierbaren Gewichte im Modell). Jede Version ist für unterschiedliche Gerätetypen ausgelegt. Die kleineren Modelle laufen auf Smartphones und Tablets, während sich das größere 7B-Modell besser für Desktopcomputer oder anspruchsvollere Aufgaben eignet.

So können Entwickler flexibel auswählen, was für ihre Apps am besten geeignet ist. Sie können eine schnelle, kompakte Lösung für Mobilgeräte oder eine komplexere Lösung für größere Systeme entwickeln und dabei dieselbe zugrunde liegende Modellarchitektur verwenden.

Apple trainierte FastVLM-Modellvarianten mit der LLaVA‑1.5-Pipeline, einem Framework zur Abstimmung von Vision- und Sprachmodellen. Für die Sprachkomponente testete Apple FastVLM mit bestehenden Open-Source-Modellen wie Qwen und Vicuna, die dafür bekannt sind, natürliche und zusammenhängende Texte zu erzeugen. Dadurch kann FastVLM sowohl einfache als auch komplexe Bilder verarbeiten und verständliche, relevante Antworten liefern.

Die Bedeutung von FastVLM: Apples effizienter Ansatz für KI#

Vielleicht fragst du dich, warum die effiziente Bildverarbeitung von FastVLM wichtig ist. Entscheidend ist, wie reibungslos Apps in Echtzeit funktionieren können, ohne auf die Cloud angewiesen zu sein. FastVLM kann Bilder mit einer Auflösung von bis zu 1152 × 1152 Pixeln verarbeiten und bleibt dabei schnell und kompakt genug, um direkt auf deinem Gerät zu laufen.

Dadurch können Apps beschreiben, was die Kamera sieht, Quittungen direkt beim Aufnehmen scannen oder auf Änderungen auf dem Bildschirm reagieren, während alle Daten lokal bleiben. Das ist besonders in Bereichen wie Bildung, Barrierefreiheit, Produktivität und Fotografie hilfreich.

Da FastViTHD auch große Bilder effizient verarbeitet, trägt es dazu bei, dass Geräte reaktionsfähig bleiben und sich nicht stark erwärmen. Es funktioniert mit allen Modellgrößen, auch mit der kleinsten, die auf iPhones der Einstiegsklasse läuft. Dadurch stehen dieselben KI-Funktionen auf Smartphones, Tablets und Macs zur Verfügung.

Anwendungsbereiche von FastVLM#

Dank seiner zentralen Vorteile wie Geschwindigkeit, Effizienz und Datenschutz auf dem Gerät eignet sich FastVLM für zahlreiche Anwendungen. Hier sind einige Beispiele:

• Dokumente lesen: Das Modell kann Quittungen, Formulare oder Ausweise scannen und nur die relevanten Informationen extrahieren. Es kann sich auf bestimmte Bildbereiche konzentrieren und eignet sich dadurch für Apps, die eine schnelle und genaue Textextraktion benötigen.
• Bildbeschreibungen: Durch die Analyse eines Fotos kann das Modell eine klare Beschreibung des Bildinhalts erstellen. Damit lassen sich Funktionen in Kamera-Apps, Fotogalerien und anderen Tools unterstützen, die von einem visuellen Verständnis in Echtzeit profitieren.
• Unterstützung der Barrierefreiheit: FastVLM kann Bildschirminhalte für blinde oder sehbehinderte Nutzer beschreiben und so die Bedienung von Schaltflächen, Menüs und anderen Oberflächenelementen erleichtern.
• KI-Assistenten auf dem Gerät: FastVLM eignet sich für KI-Assistenten, die schnell verstehen müssen, was auf dem Bildschirm zu sehen ist. Da das Modell direkt auf dem Gerät läuft und Daten privat hält, kann es Aufgaben wie das Lesen von Text, das Erkennen von Schaltflächen oder Symbolen und die Anleitung von Nutzern in Echtzeit unterstützen, ohne Informationen an die Cloud senden zu müssen.

Abb. 4: FastVLM lässt sich zur Texterkennung und visuellen Fragebeantwortung einsetzen. (Quelle)

Die wichtigsten Erkenntnisse#

FastVLM bringt visuelle KI mit Sprachverständnis auf Apple-Geräte und vereint dabei Geschwindigkeit, Datenschutz und Effizienz. Dank seines kompakten Designs und der Veröffentlichung als Open Source ermöglicht das Modell das Bildverständnis in Echtzeit in Apps für Mobilgeräte und Desktopcomputer.

So wird KI alltagstauglicher und zugänglicher, und Entwickler erhalten eine solide Grundlage für nützliche, datenschutzorientierte Anwendungen. Vision-Language-Modelle werden künftig wahrscheinlich eine wichtige Rolle bei der Interaktion mit Technologie spielen und KI reaktionsfähiger, kontextbewusster und im Alltag hilfreicher machen.

Sieh dir unser GitHub-Repository an, um mehr über KI zu erfahren. Tritt unserer aktiven Community bei und entdecke Innovationen in Bereichen wie KI in der Automobilindustrie und visuelle KI in der Fertigung. Wenn du heute mit Computer Vision loslegen möchtest, wirf einen Blick auf unsere Lizenzoptionen.