Data Flywheel
Ein Datenkreislauf ist ein Prozess, bei dem bereitgestellte Modelle Feedback und Daten erzeugen, die zu besseren Trainingsbeispielen werden, sodass jede Version die nächste verbessert.
Ein Daten-Schwungrad ist eine sich selbst verstärkende Schleife, in der ein bereitgestelltes KI-Modell Daten erzeugt – darunter Eingaben, Vorhersagen, Fehler und Nutzerfeedback –, die zu besseren Trainingsdaten für die nächste Version aufbereitet werden. Mit jeder Veröffentlichung bewältigt das Modell mehr Fälle korrekt, ein besseres Produkt zieht mehr Nutzer an, und die zunehmende Nutzung liefert mehr von den Daten, die die nächste Version benötigt. Der Name stammt vom mechanischen Schwungrad, dessen Drehung zunächst in Gang gesetzt werden muss, das danach aber Schwung speichert.
In der Computer Vision dreht sich die Schleife um schwierige Fälle: Bilder, in denen ein Detektor ein Objekt übersehen, einen Fehlalarm ausgelöst oder eine geringe Konfidenz ausgegeben hat. Ein System zur visuellen Prüfung trifft nach seiner Einführung auf neue Materialien und Spiegelungen, und ein Modell für die Bestandsverwaltung im Einzelhandel begegnet saisonalen Verpackungen. Genau diese Bilder lohnen sich daher für die Beschriftung. Teslas Autopilot-Team stellte eine bekannte Variante vor, die es Daten-Engine nannte, und präsentierte sie beim Autonomy Day 2019: Fälle, in denen das neuronale Netz schlecht abschnitt, wurden aus der Fahrzeugflotte gesammelt, beschriftet und den Trainingsdaten hinzugefügt. Produkte auf Basis großer Sprachmodelle verwenden dieselbe Schleife mit Bewertungen, Bearbeitungen und Gesprächen. Diese fließen in Evaluationsdatensätze, das Feintuning und das bestärkende Lernen anhand menschlichen Feedbacks ein.
So funktioniert ein Daten-Schwungrad#
Jeder Durchlauf umfasst die Erfassung, Prüfung, erneutes Training und eine Freigabeentscheidung:
Bei der Erfassung wird entschieden, welche Produktionsdaten in die Schleife gelangen. Alles zu speichern ist teuer und meist redundant. Deshalb behalten Systeme informative Eingaben: Vorhersagen mit geringer Konfidenz, Abweichungen zwischen Modellen, Nutzerkorrekturen, seltene Klassen und Eingaben, die auf Datenverschiebung hindeuten. Die Beispiele auszuwählen, aus denen das Modell am meisten lernt, ist die Aufgabe des aktiven Lernens.
Bei der Prüfung werden die erfassten Eingaben in Ground Truth umgewandelt. Annotatoren mit menschlicher Kontrolle bestätigen oder korrigieren jedes Label, entfernen Duplikate und sensible Inhalte, und die freigegebenen Beispiele werden einem versionierten Datensatz hinzugefügt. So lässt sich jedes Modell auf die Daten zurückführen, mit denen es trainiert wurde.
Beim erneuten Training entsteht ein Kandidat, der vor der Freigabe auf einem festen, zurückgehaltenen Testdatensatz besser abschneiden muss als das aktuelle Modell – oft auf einem sorgfältig zusammengestellten Referenzdatensatz. Eine schrittweise Einführung und die Modellüberwachung erkennen anschließend Leistungseinbußen und leiten den nächsten Durchlauf ein.
Die Ultralytics Platform automatisiert die Erfassung mit Agents, visuellen Arbeitsabläufen. Die Vorlage „Unsichere Erkennungen sammeln“ führt die Bilder eines Datensatzes durch ein bereitgestelltes Modell, behält Bilder mit mindestens einer Erkennung innerhalb eines gewählten Konfidenzbereichs wie 0,25 bis 0,5 und fügt sie unbeschriftet einem Zieldatensatz hinzu, damit sie im Annotationseditor geprüft werden können.
Warum Schwungräder ins Stocken geraten#
Ein Schwungrad dreht sich nur so schnell wie seine langsamste Phase, und das ist oft die manuelle Beschriftung. Werden die eigenen Vorhersagen eines Modells ohne menschliche Prüfung als Labels zurückgeführt, verstärken sich seine Fehler. Ein System, das auf Grundlage seiner Vorhersagen handelt, beeinflusst auch die Daten, die es als Nächstes sieht. So lernt ein Empfehlungssystem nur etwas über die Inhalte, die es selbst ausgewählt hat. Google-Forschende führten solche Rückkopplungsschleifen 2015 als eine Quelle versteckter technischer Schulden in maschinellen Lernsystemen auf. Die Bewertung jeder Version auf einem Testdatensatz, der sich mit den eingehenden Daten verändert, verschleiert Leistungseinbußen. Werden Testbeispiele in die Trainingsdaten übernommen, entsteht Datenleckage.
Daten-Schwungrad und verwandte Begriffe#
- Datenzentrierte KI: Modelle werden verbessert, indem die Daten verbessert werden. Ein Schwungrad wendet diesen Ansatz kontinuierlich an, wobei die Daten aus dem Produktivbetrieb stammen.
- Kontinuierliches Lernen: Ein Modell wird im Laufe der Zeit mit neuen Daten aktualisiert, ohne frühere Aufgaben katastrophal zu vergessen. Bei den meisten Schwungrädern wird stattdessen bei jeder Veröffentlichung mit dem vollständigen, wachsenden Datensatz neu trainiert.
- Betrieb maschinellen Lernens (MLOps): Pipelines und Werkzeuge für Versionierung, Training, Bereitstellung und Überwachung, die jeden Durchlauf des Schwungrads reproduzierbar machen.
- Netzwerkeffekte: Ein Produkt gewinnt an Wert, wenn mehr Menschen es nutzen. Ein Daten-Schwungrad verschafft nur dann einen dauerhaften Vorteil, wenn durch diese Nutzung Daten entstehen, die Wettbewerber nicht einfach sammeln können.
