Large Vision Models (LVM)
Große Bildverarbeitungsmodelle sind Bildverarbeitungsnetze mit Hunderten Millionen bis Milliarden Parametern, die auf riesigen Bildsammlungen vortrainiert wurden, um vielfältige Aufgaben zu erledigen.
Ein großes Bildverarbeitungsmodell (LVM) ist ein neuronales Netzwerk für Bilder und Videos mit Hunderten Millionen bis Milliarden Parametern, das anhand von Millionen bis Milliarden Bildern vortrainiert wurde, sodass ein Modell zahlreiche visuelle Aufgaben bewältigen kann. Es ist das visuelle Gegenstück zu einem großen Sprachmodell und eine Art Basismodell: Das Vortraining erfolgt größtenteils selbstüberwacht oder schwach überwacht. Anschließend wird das Modell mit wenigen oder ganz ohne gelabelte Daten für Klassifizierung, Objekterkennung, Segmentierung, Tiefenschätzung oder Abruf angepasst. Die meisten LVMs sind Vision Transformer; ihre Genauigkeit steigt mit der Modellgröße und der Datenmenge gemäß denselben Skalierungsgesetzen, die auch bei Sprachmodellen beobachtet werden. Bekannte Beispiele sind Googles ViT-22B mit 22 Milliarden Parametern, Metas DINOv2 und DINOv3 sowie Metas Segment Anything Model.
So werden große Bildverarbeitungsmodelle trainiert#
Labels lassen sich nicht auf Milliarden von Bildern skalieren. Deshalb lernen LVMs hauptsächlich anhand der Bilder selbst oder lose zugeordneter Texte. DINOv2, 2023 von Meta veröffentlicht, verwendet Selbstdestillation: Ein Studentnetzwerk wird darauf trainiert, die Ausgaben eines Lehrernetzwerks für verschiedene Ausschnitte desselben Bildes nachzubilden. Das größte Modell hat 1,1 Milliarden Parameter und wurde mit 142 Millionen kuratierten Bildern trainiert. 2025 skalierte DINOv3 das Verfahren auf 7 Milliarden Parameter und 1,7 Milliarden Bilder. Maskierte Autoencoder verfolgen einen anderen Ansatz für selbstüberwachtes Lernen: Sie blenden die meisten Bildausschnitte aus und trainieren das Modell, diese zu rekonstruieren. Beim kontrastiven Lernen von Bild und Text, wie in CLIP und SigLIP, wird ein Bild-Encoder darauf trainiert, Bildbeschreibungen zuzuordnen. Das Ergebnis sind Bildverarbeitungs-Grundmodelle, die viele multimodale Modelle wiederverwenden. Metas Segment Anything Model lernte anhand des Datensatzes SA-1B die promptgesteuerte Segmentierung; dieser enthält 1,1 Milliarden Masken auf 11 Millionen Bildern.
Das Modell, bei dem der Begriff am wörtlichsten zutrifft, ist LVM von Bai und Kollegen an der UC Berkeley und der Johns Hopkins University aus dem Jahr 2023. Es wandelt Bilder, Videobilder und Annotationen wie Segmentierungsmasken in „visuelle Sätze“ aus diskreten Token um und trainiert anhand von 420 Milliarden solcher Token mithilfe der Vorhersage des nächsten Tokens – ganz ohne Text. Beim Testen löst es Aufgaben durch visuelles Prompting: Ausgehend von einigen Beispielpaaren aus Eingabe- und Ausgabebildern setzt es die Sequenz mit der Ausgabe für ein neues Bild fort.
LVMs an Aufgaben anpassen#
Ein vortrainiertes LVM wird selten unverändert eingesetzt. Ohne gelabelte Daten arbeitet das Modell ohne Beispiele mit eigenen Prompts, etwa Klicks bei SAM, oder mit Bild-Embeddings, die für Suche und Duplikaterkennung verglichen werden. Bei einigen Labels wird durch lineare Auswertung ein kleiner Kopf auf eingefrorenen Merkmalen trainiert. So werden DINOv2- und DINOv3-Merkmale üblicherweise bei der Tiefenschätzung und Segmentierung bewertet. Alternativ aktualisiert die Feinabstimmung das Grundmodell selbst. Soll das Modell auf einem Smartphone, einer Kamera oder einem Roboter laufen, beschriftet das LVM stattdessen Daten oder bringt einem kompakten Modell mithilfe von Wissensdestillation etwas bei.
Die Ultralytics-Funktion auto_annotate verwendet diesen letzten Ansatz: Sie kombiniert einen YOLO26-Detektor mit Metas SAM, um erkannte Boxen in Segmentierungsmarkierungen für das Training eines kleineren Segmentierungsmodells umzuwandeln. SAM-b hat 93,7 Millionen Parameter, YOLO26n-seg dagegen 2,7 Millionen – etwa 35-mal weniger. Die Ultralytics Platform setzt denselben Ansatz bei Erkennungsdatensätzen ein: klassenbasierte Vision-Modelle beschriften die Bilder, mit denen anschließend ein YOLO26-Modell trainiert wird.
LVMs, VLMs und aufgabenspezifische Modelle#
Ein Vision-Language-Modell verbindet einen Bild-Encoder, häufig ein LVM, mit einem Sprachmodell, sodass es Fragen zu Bildern in Text beantworten kann. Ein LVM allein gibt Merkmale, Masken oder Bilder aus. Aufgabenspezifische Modelle wie Netzwerke zur Objekterkennung werden für eine einzelne Aufgabe und eine festgelegte Klassenmenge trainiert. Dadurch bleiben sie klein und schnell genug für die Echtzeitinferenz auf Geräten für Edge-KI. Große Bildverarbeitungsmodelle tauschen diese Effizienz gegen breitere Einsatzmöglichkeiten ein: Ein eingefrorenes DINOv3-Grundmodell wurde für Klassifizierung, Objekterkennung, Segmentierung, Tiefenschätzung und 3D-Korrespondenz bewertet. Meta trainierte außerdem eine Variante mit Satellitenbildern für Aufgaben der Satellitenbildanalyse, etwa zur Kartierung der Baumkronenhöhe.










