YOLO lizenzieren
Zurück zum Ultralytics-Glossar

Large Vision Models (LVM)

Große Bildverarbeitungsmodelle sind Bildverarbeitungsnetze mit Hunderten Millionen bis Milliarden Parametern, die auf riesigen Bildsammlungen vortrainiert wurden, um vielfältige Aufgaben zu erledigen.

Ein großes Bildverarbeitungsmodell (LVM) ist ein neuronales Netzwerk für Bilder und Videos mit Hunderten Millionen bis Milliarden Parametern, das anhand von Millionen bis Milliarden Bildern vortrainiert wurde, sodass ein Modell zahlreiche visuelle Aufgaben bewältigen kann. Es ist das visuelle Gegenstück zu einem großen Sprachmodell und eine Art Basismodell: Das Vortraining erfolgt größtenteils selbstüberwacht oder schwach überwacht. Anschließend wird das Modell mit wenigen oder ganz ohne gelabelte Daten für Klassifizierung, Objekterkennung, Segmentierung, Tiefenschätzung oder Abruf angepasst. Die meisten LVMs sind Vision Transformer; ihre Genauigkeit steigt mit der Modellgröße und der Datenmenge gemäß denselben Skalierungsgesetzen, die auch bei Sprachmodellen beobachtet werden. Bekannte Beispiele sind Googles ViT-22B mit 22 Milliarden Parametern, Metas DINOv2 und DINOv3 sowie Metas Segment Anything Model.

So werden große Bildverarbeitungsmodelle trainiert#

Labels lassen sich nicht auf Milliarden von Bildern skalieren. Deshalb lernen LVMs hauptsächlich anhand der Bilder selbst oder lose zugeordneter Texte. DINOv2, 2023 von Meta veröffentlicht, verwendet Selbstdestillation: Ein Studentnetzwerk wird darauf trainiert, die Ausgaben eines Lehrernetzwerks für verschiedene Ausschnitte desselben Bildes nachzubilden. Das größte Modell hat 1,1 Milliarden Parameter und wurde mit 142 Millionen kuratierten Bildern trainiert. 2025 skalierte DINOv3 das Verfahren auf 7 Milliarden Parameter und 1,7 Milliarden Bilder. Maskierte Autoencoder verfolgen einen anderen Ansatz für selbstüberwachtes Lernen: Sie blenden die meisten Bildausschnitte aus und trainieren das Modell, diese zu rekonstruieren. Beim kontrastiven Lernen von Bild und Text, wie in CLIP und SigLIP, wird ein Bild-Encoder darauf trainiert, Bildbeschreibungen zuzuordnen. Das Ergebnis sind Bildverarbeitungs-Grundmodelle, die viele multimodale Modelle wiederverwenden. Metas Segment Anything Model lernte anhand des Datensatzes SA-1B die promptgesteuerte Segmentierung; dieser enthält 1,1 Milliarden Masken auf 11 Millionen Bildern.

Das Modell, bei dem der Begriff am wörtlichsten zutrifft, ist LVM von Bai und Kollegen an der UC Berkeley und der Johns Hopkins University aus dem Jahr 2023. Es wandelt Bilder, Videobilder und Annotationen wie Segmentierungsmasken in „visuelle Sätze“ aus diskreten Token um und trainiert anhand von 420 Milliarden solcher Token mithilfe der Vorhersage des nächsten Tokens – ganz ohne Text. Beim Testen löst es Aufgaben durch visuelles Prompting: Ausgehend von einigen Beispielpaaren aus Eingabe- und Ausgabebildern setzt es die Sequenz mit der Ausgabe für ein neues Bild fort.

LVMs an Aufgaben anpassen#

Ein vortrainiertes LVM wird selten unverändert eingesetzt. Ohne gelabelte Daten arbeitet das Modell ohne Beispiele mit eigenen Prompts, etwa Klicks bei SAM, oder mit Bild-Embeddings, die für Suche und Duplikaterkennung verglichen werden. Bei einigen Labels wird durch lineare Auswertung ein kleiner Kopf auf eingefrorenen Merkmalen trainiert. So werden DINOv2- und DINOv3-Merkmale üblicherweise bei der Tiefenschätzung und Segmentierung bewertet. Alternativ aktualisiert die Feinabstimmung das Grundmodell selbst. Soll das Modell auf einem Smartphone, einer Kamera oder einem Roboter laufen, beschriftet das LVM stattdessen Daten oder bringt einem kompakten Modell mithilfe von Wissensdestillation etwas bei.

Die Ultralytics-Funktion auto_annotate verwendet diesen letzten Ansatz: Sie kombiniert einen YOLO26-Detektor mit Metas SAM, um erkannte Boxen in Segmentierungsmarkierungen für das Training eines kleineren Segmentierungsmodells umzuwandeln. SAM-b hat 93,7 Millionen Parameter, YOLO26n-seg dagegen 2,7 Millionen – etwa 35-mal weniger. Die Ultralytics Platform setzt denselben Ansatz bei Erkennungsdatensätzen ein: klassenbasierte Vision-Modelle beschriften die Bilder, mit denen anschließend ein YOLO26-Modell trainiert wird.

LVMs, VLMs und aufgabenspezifische Modelle#

Ein Vision-Language-Modell verbindet einen Bild-Encoder, häufig ein LVM, mit einem Sprachmodell, sodass es Fragen zu Bildern in Text beantworten kann. Ein LVM allein gibt Merkmale, Masken oder Bilder aus. Aufgabenspezifische Modelle wie Netzwerke zur Objekterkennung werden für eine einzelne Aufgabe und eine festgelegte Klassenmenge trainiert. Dadurch bleiben sie klein und schnell genug für die Echtzeitinferenz auf Geräten für Edge-KI. Große Bildverarbeitungsmodelle tauschen diese Effizienz gegen breitere Einsatzmöglichkeiten ein: Ein eingefrorenes DINOv3-Grundmodell wurde für Klassifizierung, Objekterkennung, Segmentierung, Tiefenschätzung und 3D-Korrespondenz bewertet. Meta trainierte außerdem eine Variante mit Satellitenbildern für Aufgaben der Satellitenbildanalyse, etwa zur Kartierung der Baumkronenhöhe.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens