YOLO lizenzieren
Zurück zum Ultralytics-Glossar

Superalignment

Superalignment bezeichnet die Herausforderung, KI-Systeme auszurichten, die intelligenter sind als die Menschen, die sie beaufsichtigen. Erforscht wird das Problem anhand von Verallgemeinerung von schwach zu stark und Aufsicht.

Superalignment bezeichnet das Problem, KI-Systeme auszurichten, die weitaus leistungsfähiger sind als die Menschen, die sie beaufsichtigen. Der Begriff bezeichnet außerdem das Forschungsprogramm, das OpenAI 2023 zu diesem Zweck ins Leben rief. Aktuelle Ausrichtungsverfahren wie das bestärkende Lernen aus menschlichem Feedback (RLHF) beruhen darauf, dass Menschen beurteilen, welche Modellausgaben besser sind. Sobald ein Modell Code, Beweise oder Pläne verfasst, die seine Aufsichtspersonen nicht zuverlässig überprüfen können, sind diese Beurteilungen kein vertrauenswürdiges Trainingssignal mehr. Ein Modell könnte dann lernen, Antworten zu erzeugen, die für die Bewertenden richtig aussehen, statt tatsächlich richtig zu sein. Die Superalignment-Forschung sucht nach Wegen, solche Systeme trotzdem zu beaufsichtigen, zu testen und zu korrigieren.

Ursprung des Begriffs#

OpenAI führte Superalignment am 5. Juli 2023 ein und stellte ein Team zusammen, das von Chef-Wissenschaftler Ilya Sutskever und dem Leiter der Ausrichtungsforschung Jan Leike gemeinsam geleitet wurde. Das Unternehmen sagte zu, 20 % der bis dahin gesicherten Rechenleistung für das Vorhaben einzusetzen, und setzte sich das Ziel, die zentralen technischen Herausforderungen bei der Ausrichtung von Superintelligenz innerhalb von vier Jahren zu lösen. Geplant war, zunächst eine automatisierte Ausrichtungsforscherin auf etwa menschlichem Niveau zu entwickeln und diese Forschung anschließend mit mehr Rechenleistung auszuweiten. OpenAI löste das Team im Mai 2024 auf, nachdem beide Leiter das Unternehmen verlassen hatten. Der Begriff wird weiterhin für das allgemeine Problem verwendet.

Superalignment ist ein Teilgebiet der KI-Ausrichtung. Diese umfasst jedes System, das die Absichten seiner Entwicklerinnen und Entwickler verfolgt, unter anderem mithilfe von RLHF, verfassungsbasierter KI und direkter Präferenzoptimierung. Diese Verfahren setzen voraus, dass ein Mensch oder von Menschen verfasste Regeln die Ausgaben beurteilen können. Superalignment befasst sich mit Fällen, in denen diese Annahme nicht gilt – etwa bei Systemen, die das menschliche Leistungsniveau übertreffen, wie künftiger künstlicher allgemeiner Intelligenz (AGI) und Superintelligenz. Das Thema gehört neben der Arbeit zu Missbrauch und Unfällen zur KI-Sicherheit.

Generalisierung von schwach zu stark#

Da übermenschliche Modelle noch nicht existieren, untersuchte die erste Arbeit des Teams, Generalisierung von schwach zu stark, von Collin Burns und seinen Kolleginnen und Kollegen aus dem Dezember 2023 eine Analogie: Ein kleines Modell übernimmt die Rolle der menschlichen Aufsichtsperson, ein großes Basismodell die eines übermenschlichen Lernenden. Wurde GPT-4 ausschließlich mit Beschriftungen feinabgestimmt, die eine Aufsichtsperson auf GPT-2-Niveau erzeugt hatte, übertraf es diese zuverlässig, blieb aber weit hinter seinen eigenen vollen Fähigkeiten zurück. Ein zusätzlicher Konfidenzverlust, der den Lernenden für sichere Vorhersagen auch dann belohnt, wenn sie den schwachen Beschriftungen widersprechen, brachte die Leistung bei Aufgaben der Verarbeitung natürlicher Sprache (NLP) fast auf das Niveau von GPT-3.5.

Die Arbeit misst den Erfolg anhand des wieder aufgeholten Leistungsvorsprungs (PGR): dem Anteil der Genauigkeitslücke zwischen der schwachen Aufsichtsperson und einem mit echten Beschriftungen trainierten starken Modell, den der schwach überwachte Lernende schließt. Dasselbe Experiment lässt sich im kleinen Maßstab mit scikit-learn durchführen: Ein flacher Entscheidungsbaum dient als schwache Aufsichtsperson, eine Support-Vektor-Maschine (SVM) als starker Lernender:

from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier

x, y = load_digits(return_X_y=True)
x_weak, x_rest, y_weak, y_rest = train_test_split(x, y, train_size=0.3, random_state=0)
x_strong, x_test, y_strong, y_test = train_test_split(x_rest, y_rest, train_size=0.6, random_state=0)

# Weak supervisor: a shallow decision tree trained on ground-truth labels
weak = DecisionTreeClassifier(max_depth=5, random_state=0).fit(x_weak, y_weak)
weak_labels = weak.predict(x_strong)

# Strong student learns only from the weak labels; the ceiling learns from the true labels
student = SVC().fit(x_strong, weak_labels)
ceiling = SVC().fit(x_strong, y_strong)

weak_acc, student_acc, ceiling_acc = (m.score(x_test, y_test) for m in (weak, student, ceiling))
pgr = (student_acc - weak_acc) / (ceiling_acc - weak_acc)
print(f"weak {weak_acc:.3f}, weak-to-strong {student_acc:.3f}, ceiling {ceiling_acc:.3f}, PGR {pgr:.2f}")

Der Baum klassifiziert 69,0 % der Testziffern korrekt. Die SVM, die nur mit seinen Beschriftungen trainiert wurde, erreicht 81,9 % und schließt damit 45 % der Lücke zum Wert von 97,4 % einer SVM, die mit echten Beschriftungen trainiert wurde. Der Lernende übertrifft seine Aufsichtsperson, weil die Fehler des Baums auf achsenparallelen Teilungen beruhen, die die regularisierte SVM schlecht abbildet. Daher wirken sich viele dieser Fehler nicht auf ihre Vorhersagen aus. Die Ultralytics Platform stellt dieselbe Frage im kleinen Maßstab: Stapelbeschriftung beschriftet einen ganzen Datensatz mit einem Modell. Ein später mit diesen Beschriftungen trainiertes YOLO26-Modell kann das Beschriftungsmodell nur dann übertreffen, wenn es dessen Fehler nicht übernimmt.

Weitere Ansätze#

Training von schwach zu stark ist einer von mehreren Forschungsansätzen. Bei der skalierbaren Aufsicht erhalten menschliche Aufsichtspersonen Hilfe durch KI: Beim KI-Debattieren, das 2018 von Geoffrey Irving, Paul Christiano und Dario Amodei vorgeschlagen wurde, argumentieren zwei Modelle für entgegengesetzte Antworten, bevor ein Mensch entscheidet. Dahinter steht die Annahme, dass es schwieriger ist zu lügen als eine Lüge zu widerlegen. Sandwich-Experimente prüfen Aufsichtsverfahren anhand von Aufgaben, bei denen Nichtexpertinnen und Nichtexperten mit Modellunterstützung zu denselben Urteilen gelangen müssen wie Fachleute, deren Einschätzungen als Referenz dienen.

Andere Ansätze versuchen nachzuprüfen, was ein Modell berechnet, statt nur seine Ausgaben zu untersuchen. Mechanistische Interpretierbarkeit und spärliche Autoencoder suchen nach internen Merkmalen, die mit Täuschung zusammenhängen. Forschende entwickeln gezielt nicht ausgerichtete Modelle, etwa manipulierte schlafende Agenten, um zu prüfen, ob Erkennungsmethoden sie aufspüren. Verhaltensweisen, die ein übermenschliches Modell in großem Maßstab ausnutzen könnte, wurden bereits bei heutigen großen Sprachmodellen (LLMs) beobachtet. Dazu gehören vorgetäuschte Ausrichtung während des Trainings, bewusst schlechte Leistungen bei Bewertungen und Belohnungsmanipulation.

Burns und seine Kolleginnen und Kollegen nennen Nachahmung als eine zentrale Schwäche ihrer Analogie. GPT-4 wurde nie darauf vortrainiert, GPT-2 nachzuahmen, und größere Lernende hatten mehr Schwierigkeiten, schwache Aufsichtspersonen nachzuahmen. Von einem übermenschlichen Modell, das mit menschlichen Daten vortrainiert wurde, wird dagegen erwartet, dass es menschliche Aufsichtspersonen sehr gut nachahmt, ihre Fehler reproduziert und nur Antworten auf menschlichem Niveau ausgibt.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens