Foundation Model

Ein Basismodell ist ein großes maschinelles Lernmodell, das mit umfangreichen, vielfältigen Daten trainiert wird und sich für eine große Bandbreite nachgelagerter Aufgaben anpassen lässt. Forschende aus Stanford führten den Begriff 2021 in ihrem Bericht On the Opportunities and Risks of Foundation Models ein. Sie wählten „foundation“, weil diese Modelle für viele Anwendungen zentral, für sich genommen aber unvollständig sind. Frühere Modelle wurden üblicherweise mit einem einzelnen beschrifteten Datensatz für eine einzelne Aufgabe trainiert. Ein Basismodell lernt allgemeine Muster einmalig in einem aufwendigen Vortraining und dient anschließend als Ausgangspunkt für Chatbots, Suche, Übersetzung, Bildklassifizierung, Segmentierung und viele weitere Anwendungen, die von Teams entwickelt werden, die solche Modelle nicht selbst trainieren. Große Sprachmodelle (LLMs) wie GPT, Claude, Gemini und Llama sind Basismodelle. Das gilt auch für Bildverarbeitungsmodelle wie CLIP, DINOv3 und Metas Segment Anything Model (SAM).

So funktionieren Basismodelle#

Beim Vortraining kommen Lernziele zum Einsatz, die keine menschlichen Beschriftungen erfordern. So kann der Trainingsdatensatz auf Billionen Wörter oder Milliarden Bilder anwachsen. Sprachmodelle lernen durch die Vorhersage des nächsten Tokens, Bildencoder durch Verfahren des selbstüberwachten Lernens wie maskiertes Bildmodellieren und Selbst-Destillation. Bild-Sprach-Modelle lernen mithilfe von kontrastivem Lernen anhand von Bild-Beschriftungs-Paaren. Fast alle Basismodelle verwenden die Transformer-Architektur. Ihre Leistung verbessert sich vorhersehbar mit der Anzahl der Parameter, den Daten und der Rechenleistung, wie die Skalierungsgesetze beschreiben.

Nach dem Vortraining wird dasselbe Modell auf eine von mehreren Arten an die jeweilige Aufgabe angepasst. Durch Prompting wird es mit Anweisungen oder Beispielen gesteuert, ohne dass ein Training stattfindet. Beim Feinabstimmen oder parameter-effizienten Feinabstimmen (PEFT) werden die Gewichte mit Aufgabendaten aktualisiert. Ein kleiner Kopf, der auf den eingefrorenen Embeddings trainiert wird, macht daraus einen Klassifikator oder ein Abrufsystem:

Der Bericht hob zwei Folgen dieses Musters hervor. Emergenz bedeutet, dass Fähigkeiten bei zunehmender Modellgröße auftreten, obwohl sie nicht direkt antrainiert wurden, wie etwa die Fähigkeit von GPT-3, anhand weniger Beispiele im Prompt neue Aufgaben auszuführen. Homogenisierung bedeutet, dass viele Anwendungen mittlerweile auf wenigen Modellen aufbauen. Dadurch übertragen sich die Fehler und Verzerrungen eines Modells auf alles, was daraus abgeleitet wird. Regulierungsbehörden befassen sich inzwischen direkt mit diesen Modellen: Der EU AI Act bezeichnet sie als KI-Modelle mit allgemeinem Verwendungszweck. Die entsprechenden Pflichten für ihre Anbieter gelten seit dem 2. August 2025.

Basismodelle in der Computer Vision#

Bildverarbeitungs-Basismodelle werden mit deutlich umfangreicheren und vielfältigeren Daten trainiert als auf einzelne Aufgaben zugeschnittene Detektoren. CLIP lernte anhand von 400 Millionen Bild-Beschriftungs-Paaren und klassifiziert Bilder in Kategorien, die nur als Text vorgegeben sind – die Grundlage des Zero-Shot-Lernens in der Bildverarbeitung. Metas DINOv3 erzeugt eingefrorene Merkmale für die Tiefenschätzung, Segmentierung und Satellitenkartierung. Das Modell verfügt über 7 Milliarden Parameter und wurde mit 1,7 Milliarden unbeschrifteten Bildern trainiert. SAM, dessen Autoren es als Basismodell für die Bildsegmentierung beschrieben, wurde mit dem SA-1B-Datensatz aus 11 Millionen Bildern und 1,1 Milliarden Masken trainiert. Es segmentiert jedes Objekt, das durch einen Punkt oder einen Rahmen markiert wird. SAM 3 ergänzt Text-Prompts, mit denen sich alle Instanzen eines benannten Konzepts finden lassen. Bild-Sprach-Aktionsmodelle übertragen dieses Konzept auf die Robotik, indem sie Kamerabilder und Anweisungen in Roboteraktionen umwandeln.

Ultralytics Platform nutzt diese Modelle, um die Datenannotation zu beschleunigen: Bei der intelligenten Annotation genügt ein Klick, um SAM 2.1, SAM 3 oder SAM 3.1 mit der Maske eines Objekts zu beauftragen. Bei Erkennungsdatensätzen finden Modelle mit Klassen-Prompts wie SAM 3.1 Text und Grounding DINO anhand des Klassennamens alle Objekte einer Klasse. Die VLM-Bestenliste vergleicht, wie genau diese Modelle mit Klassen-Prompts und generative VLMs Erkennungsdatensätze der realen Welt automatisch annotieren. Metas SAM 2.1 lässt sich auch im Ultralytics-Python-Paket ausführen. Dabei ersetzt ein Box-Prompt jedes aufgabenspezifische Training:

from ultralytics import SAM

# Meta-SAM 2.1, ein Basismodell zur Segmentierung, wird unverändert und ohne Training verwendet
model = SAM("sam2.1_b.pt")

# Ein Rahmen-Prompt um den Bus legt die Aufgabe fest; das Modell gibt die Maske dieses Objekts zurück
results = model("https://ultralytics.com/images/bus.jpg", bboxes=[22, 231, 805, 757])
result = results[0]
result.save(filename="sam_bus_mask.jpg")

Basismodelle und verwandte Begriffe#

• Großes Sprachmodell (LLM): Ein Basismodell für Text. Basismodelle können auch Bilder, Videos, Audio, Tabellendaten und die Steuerung von Robotern abdecken.
• Generative KI: Systeme, die Texte, Bilder, Audio oder Videos erzeugen. Viele davon basieren auf Basismodellen. Einige Basismodelle wie DINOv3 und SAM erzeugen jedoch Merkmale und Masken statt neuer Inhalte.
• Transferlernen: Die Technik, ein vortrainiertes Modell für eine neue Aufgabe wiederzuverwenden. Ein Basismodell ist ein vortrainiertes Modell, das für die Wiederverwendung bei vielen Aufgaben entwickelt wurde. Ein Modell, das für eine einzelne Aufgabe mit einer festen Menge von Beschriftungen trainiert wurde, etwa ein COCO-Objektdetektor mit 80 Klassen, lässt sich hauptsächlich auf eng verwandte Aufgaben übertragen.
• Frontier-KI-Modelle: Die derzeit leistungsfähigsten Foundation-Modelle. Nach dem EU-KI-Gesetz wird bei einem KI-Modell mit allgemeinem Verwendungszweck, das mit mehr als 10²⁵ Gleitkommaoperationen trainiert wurde, davon ausgegangen, dass es ein systemisches Risiko birgt und zusätzlichen Verpflichtungen unterliegt.