Was ist Dataset Distillation? Ein kurzer Überblick

Das Training von Modellen scheint oft der zeitaufwendigste Teil der Arbeit eines Data Scientists zu sein. Doch die meiste Zeit, oft 60% bis 80%, fließt tatsächlich in das Vorbereiten von Daten: das Sammeln, Bereinigen und Organisieren für die Modellierung. Mit zunehmender Größe der Datensätze wächst dieser Vorbereitungsaufwand, was Experimente verlangsamt und Iterationen erschwert.

Um dies anzugehen, haben Forscher jahrelang nach Wegen gesucht, das Training zu rationalisieren. Ansätze wie synthetische Daten, Datensatzkomprimierung und bessere Optimierungsmethoden zielen alle darauf ab, die Kosten und Reibungsverluste bei der Arbeit mit umfangreichen Datensätzen zu reduzieren und Machine-Learning-Workflows zu beschleunigen.

Eine Schlüsselfrage dabei ist, ob wir einen Datensatz drastisch verkleinern können, während wir dennoch die gleiche Leistung erzielen wie beim Training eines Modells mit den vollständigen Daten. Dataset Distillation ist eine vielversprechende Antwort.

Dabei wird eine kompakte Version eines großen Trainings-Datensatzes erstellt, während die wesentlichen Muster bewahrt bleiben, die das Modell für ein effektives Lernen benötigt. Dies bietet einen Weg zu schnellerem Training, geringerem Rechenbedarf und effizienteren Experimenten. Du kannst es dir wie einen Spickzettel für das Modell vorstellen – eine winzige Menge an synthetischen Daten, die darauf ausgelegt sind, dieselben Kernmuster zu vermitteln wie der vollständige Datensatz.

In diesem Artikel werden wir untersuchen, wie Dataset Distillation funktioniert und wie sie skalierbares Machine Learning und Deep Learning in realen Anwendungen unterstützt. Fangen wir an!

Link to this sectionDataset Distillation verstehen#

Dataset Distillation ist ein Prozess, bei dem ein großer Trainingsdatensatz zu einer viel kleineren Datenmenge verdichtet wird, die einem Modell dennoch fast dieselben Informationen vermittelt wie der ursprüngliche Datensatz. Viele Forscher bezeichnen diesen Prozess auch als Dataset Condensation, da das Ziel darin besteht, die wesentlichen Muster zu erfassen, die im gesamten Datensatz vorkommen.

Ein destillierter Datensatz unterscheidet sich von zufällig generierten synthetischen Daten oder dem einfachen Auswählen einer kleineren Teilmenge echter Bilder. Es ist kein zufälliger Fake-Datensatz oder eine gekürzte Kopie des Originals.

Stattdessen ist er gezielt darauf optimiert, die wichtigsten Muster zu erfassen. Während dieses Prozesses wird jedes Pixel und jedes Merkmal angepasst und optimiert, sodass ein auf den destillierten Daten trainiertes neuronales Netzwerk fast so lernt, als wäre es auf dem gesamten Datensatz trainiert worden.

Diese Idee erschien erstmals 2018 in einem arXiv-Paper von Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba und Alexei A. Efros. Frühe Tests verwendeten einfache Datensätze wie MNIST und CIFAR-10, wodurch leicht gezeigt werden konnte, dass ein paar destillierte Beispiele tausende echte Bilder ersetzen konnten.

Abb. 1. Verwendung von Dataset Distillation für Bilddaten (Quelle)

Seitdem haben Folgestudien die Dataset Distillation weiter vorangetrieben, einschließlich Methoden, die auf der ICML und ICLR veröffentlicht wurden und die Kondensation effizienter und skalierbarer machen.

Link to this sectionDie Bedeutung der Dataset Distillation#

Dataset Distillation verbessert die Trainingseffizienz und beschleunigt Entwicklungszyklen. Durch die Reduzierung der Datenmenge, von der ein Modell lernen muss, senkt sie den Rechenbedarf.

Dies ist besonders nützlich für kontinuierliches Lernen, bei dem Modelle im Laufe der Zeit aktualisiert werden, für die Suche nach neuronalen Architekturen, bei der viele Modellentwürfe getestet werden, und für das Training auf Edge-Geräten, die über begrenzten Arbeitsspeicher und wenig Energie verfügen. Insgesamt machen diese Vorteile die Dataset Distillation zu einer großartigen Option für schnelle Initialisierungen, zügiges Fine-Tuning und die Erstellung früher Prototypen in vielen Machine-Learning-Workflows.

Link to this sectionEin Überblick darüber, wie Dataset Distillation funktioniert#

Dataset Distillation erstellt synthetische, also künstlich generierte Trainingsbeispiele. Diese Beispiele helfen einem Modell, auf eine Weise zu lernen, die dem Training mit echten Daten sehr nahekommt. Der Prozess funktioniert durch die Verfolgung von drei Schlüsselfaktoren während des normalen Trainings.

Erstens die Verlustfunktion (Loss-Funktion), die den Fehlerwert des Modells darstellt und zeigt, wie falsch seine Vorhersagen sind. Zweitens die Modellparameter, also die internen Gewichte des Netzwerks, die während des Lernens aktualisiert werden.

Drittens die Trainingstrajektorie, die beschreibt, wie sich der Fehler und die Gewichte Schritt für Schritt über die Zeit verändern. Die synthetischen Beispiele werden dann so optimiert, dass beim Training des Modells mit diesen Daten der Fehler sinkt und die Gewichte auf dieselbe Weise aktualisiert werden wie beim vollständigen Datensatz.

Link to this sectionEin schrittweiser Blick auf die Dataset Distillation#

Hier ist ein genauerer Blick auf die Funktionsweise des Dataset-Distillation-Prozesses:

• Schritt 1 - Initialisierung synthetischer Pixel: Der Prozess beginnt mit synthetischen Bildern, die als lernbare Eingaben dienen. Zunächst haben diese Bilder kaum Struktur und sehen aus wie leere Blätter. Mit der Zeit werden sie zu informativen Beispielen optimiert.
• Schritt 2 - Optimierung mit Gradient Matching und Backpropagation: Während das Modell mit diesen synthetischen Bildern trainiert, erzeugt es Gradienten, die anzeigen, wie jedes Pixel geändert werden sollte, um das Trainingsverhalten realer Daten besser abzubilden. Backpropagation ist die Methode, die das Netzwerk nutzt, um aus Fehlern zu lernen. Sie sendet den Fehler rückwärts durch das Modell, um zu ermitteln, welche Pixel und Gewichte ihn verursacht haben, und aktualisiert diese dann leicht. Unter Verwendung dieser Gradienten passt die Backpropagation die synthetischen Bilder Schritt für Schritt an, damit sie informativer für das Training werden.
• Schritt 3 - Angleichung des Verhaltens über Trainingsschritte hinweg: Die Methode gleicht auch die Trainingstrajektorien ab, das heißt die schrittweisen Veränderungen, die das Modell beim Lernen durchläuft. Dies stellt sicher, dass der destillierte Datensatz das Modell auf einem Lernpfad führt, der dem ähnelt, den es mit dem vollständigen Datensatz verfolgen würde.
• Schritt 4 - Validierung und Generalisierung: Schließlich wird der destillierte Datensatz anhand realer Validierungsdaten ausgewertet, um zu sehen, wie gut das trainierte Modell bei neuen Beispielen abschneidet. Dies überprüft, ob die synthetischen Daten breite, funktionale Muster lehren, anstatt das Modell dazu zu bringen, spezifische Beispiele auswendig zu lernen.

Abb. 2. Ein Blick auf die Dataset Distillation (Quelle)

Link to this sectionWichtige Methoden zur Dataset Distillation#

Alle Dataset-Distillation-Methoden basieren auf der gleichen Grundidee, auch wenn sie unterschiedliche Algorithmen verwenden, um das Ziel zu erreichen. Die meisten Ansätze lassen sich in drei Kategorien unterteilen: Performance Matching, Distribution Matching und Parameter Matching.

Schauen wir uns als Nächstes jede dieser Kategorien an und wie sie funktioniert.

Link to this sectionPerformance Matching#

Performance Matching bei der Dataset Distillation konzentriert sich auf die Erstellung eines winzigen, optimierten Trainingssets, das es einem Modell ermöglicht, nahezu dieselbe Genauigkeit zu erreichen, als wäre es auf dem vollständigen Originaldatensatz trainiert worden. Anstatt eine zufällige Teilmenge auszuwählen, werden die destillierten Beispiele so optimiert, dass ein Modell, das mit ihnen trainiert wurde, am Ende ähnliche Vorhersagen, ein ähnliches Verlustverhalten während des Trainings oder eine ähnliche Endgenauigkeit aufweist wie ein Modell, das auf dem Originaldatensatz trainiert wurde.

Meta Learning ist eine gebräuchliche Methode, um diesen Prozess zu verbessern. Der destillierte Datensatz wird durch wiederholte Trainingsepisoden aktualisiert, sodass er über viele mögliche Situationen hinweg effektiv wird.

Während dieser Episoden simuliert die Methode, wie ein Schülermodell von den aktuellen destillierten Beispielen lernt, überprüft, wie gut dieser Schüler mit realen Daten abschneidet, und passt dann die destillierten Beispiele an, damit sie bessere Lehrer sind. Im Laufe der Zeit lernt das destillierte Set, schnelles Lernen und eine starke Generalisierung zu unterstützen, selbst wenn das Schülermodell mit anderen anfänglichen Gewichten startet oder eine andere Architektur verwendet. Dies macht den destillierten Datensatz zuverlässiger und nicht an einen einzigen Trainingslauf gebunden.

Abb. 3. Der Meta-Learning-Prozess (Quelle)

Link to this sectionTechniken zum Distribution Matching#

In der Zwischenzeit generiert Distribution Matching synthetische Daten, die den statistischen Mustern des echten Datensatzes entsprechen. Anstatt sich nur auf die endgültige Genauigkeit eines Modells zu konzentrieren, fokussiert sich dieser Ansatz auf die internen Merkmale, die ein neuronales Netzwerk während des Lernens erzeugt.

Werfen wir als Nächstes einen Blick auf die zwei Techniken, die das Distribution Matching vorantreiben.

Link to this sectionSingle-Layer Distribution Matching#

Single-Layer Distribution Matching konzentriert sich auf eine einzelne Schicht eines neuronalen Netzwerks und vergleicht die Merkmale, die es für reale im Vergleich zu synthetischen Daten erzeugt. Diese Merkmale, auch Aktivierungen genannt, erfassen das, was das Modell an diesem Punkt im Netzwerk gelernt hat.

Indem die synthetischen Daten dazu gebracht werden, ähnliche Aktivierungen zu erzeugen, ermutigt die Methode den destillierten Datensatz dazu, dieselben wichtigen Muster wie der ursprüngliche Datensatz widerzuspiegeln. In der Praxis werden die synthetischen Beispiele wiederholt aktualisiert, bis die Aktivierungen in der gewählten Schicht eng mit denen der echten Bilder übereinstimmen.

Dieser Ansatz ist relativ einfach, da er jeweils nur eine Repräsentationsebene angleicht. Er kann besonders gut bei kleineren Datensätzen oder Aufgaben funktionieren, bei denen eine Anpassung tiefer, mehrstufiger Merkmals-Hierarchien nicht notwendig ist. Durch die klare Angleichung eines Merkmalsraums liefert das Single-Layer-Matching ein stabiles und aussagekräftiges Signal für das Lernen mit dem destillierten Datensatz.

Link to this sectionMulti-Layer Distribution Matching#

Multi-Layer Distribution Matching baut auf der Idee auf, echte und synthetische Daten zu vergleichen, indem dies in mehreren Schichten eines neuronalen Netzwerks statt nur in einer geschieht. Verschiedene Schichten erfassen unterschiedliche Arten von Informationen, von einfachen Kanten und Texturen in frühen Schichten bis hin zu Formen und komplexeren Mustern in tieferen Schichten.

Durch den Abgleich von Merkmalen über diese Schichten hinweg wird der destillierte Datensatz dazu gebracht, das widerzuspiegeln, was das Modell auf mehreren Ebenen lernt. Da Merkmale durch das gesamte Netzwerk hinweg angeglichen werden, hilft dieser Ansatz den synthetischen Daten, reichhaltigere Signale zu bewahren, auf die sich das Modell stützt, um Klassen voneinander zu unterscheiden.

Dies ist besonders hilfreich im Computer Vision-Bereich, also bei Aufgaben, bei denen Modelle lernen, Bilder und Videos zu verstehen, da nützliche Muster über viele Schichten verteilt sind. Wenn die Merkmalsverteilungen in mehreren Tiefen gut übereinstimmen, fungiert der destillierte Datensatz als stärkerer und zuverlässigerer Ersatz für die ursprünglichen Trainingsdaten.

Link to this sectionParameter-Matching-Methoden#

Eine weitere Schlüsselkategorie bei der Dataset Distillation ist das Parameter Matching. Anstatt die Genauigkeit oder Merkmalsverteilungen abzugleichen, wird abgeglichen, wie sich die Gewichte eines Modells während des Trainings verändern. Indem das Training auf dem destillierten Datensatz dazu gebracht wird, ähnliche Parameteraktualisierungen wie beim Training mit echten Daten zu erzeugen, folgt das Modell einem nahezu identischen Lernpfad.

Wir werden im Folgenden die zwei wichtigsten Parameter-Matching-Methoden durchgehen.

Link to this sectionSingle-Step Matching#

Single-Step Matching vergleicht, was mit den Gewichten eines Modells nach nur einem Trainingsschritt auf echten Daten passiert. Der destillierte Datensatz wird dann so abgestimmt, dass ein Modell, das für einen Schritt mit ihm trainiert wird, eine sehr ähnliche Gewichtungsaktualisierung erzeugt. Da es sich nur auf diese einzelne Aktualisierung konzentriert, ist die Methode unkompliziert und schnell ausführbar.

Der Nachteil ist, dass ein Schritt nicht den vollständigen Lernprozess widerspiegelt, besonders bei schwierigeren Aufgaben, bei denen das Modell viele Aktualisierungen benötigt, um reichhaltigere Merkmale aufzubauen. Aus diesem Grund funktioniert Single-Step Matching am besten bei einfacheren Problemen oder kleineren Datensätzen, bei denen nützliche Muster schnell aufgenommen werden können.

Link to this sectionMulti-Step Parameter Matching#

Im Gegensatz dazu betrachtet das Multi-Step Parameter Matching, wie sich die Gewichte eines Modells über mehrere Trainingsschritte hinweg verändern, nicht nur bei einem. Diese Abfolge von Aktualisierungen ist die Trainingstrajektorie des Modells.

Der destillierte Datensatz wird so erstellt, dass die Trajektorie, wenn ein Modell mit den synthetischen Beispielen trainiert, eng der folgt, die es mit echten Daten einschlagen würde. Durch den Abgleich einer längeren Lernstrecke erfasst das destillierte Set mehr von der Struktur des ursprünglichen Trainingsprozesses.

Da es widerspiegelt, wie sich das Lernen über die Zeit entfaltet, funktioniert Multi-Step Matching normalerweise besser für größere oder komplexere Datensätze, bei denen Modelle viele Aktualisierungen benötigen, um nützliche Muster aufzunehmen. Es erfordert zwar mehr Rechenleistung, da mehrere Schritte nachverfolgt werden müssen, aber es produziert oft destillierte Datensätze, die besser generalisieren und eine bessere Leistung erzielen als Single-Step Matching.

Link to this sectionWie die Generierung und Optimierung synthetischer Datensätze funktioniert#

Mit einem besseren Verständnis der wichtigsten Distillationsansätze können wir nun betrachten, wie synthetische Daten erstellt werden. Bei der Dataset Distillation werden synthetische Beispiele optimiert, um das wichtigste Lernsignal zu erfassen, sodass ein kleines Set einen viel größeren Datensatz ersetzen kann.

Als Nächstes werden wir sehen, wie diese destillierten Daten generiert und ausgewertet werden.

Link to this sectionErstellung und Auswertung destillierter Bilder#

Während der Dataset Distillation werden die synthetischen Pixel über viele Trainingsschritte hinweg aktualisiert. Das neuronale Netzwerk lernt aus den aktuellen synthetischen Bildern und sendet gradientenbasiertes Feedback, das zeigt, wie jedes Pixel geändert werden sollte, um die Muster im echten Datensatz besser abzubilden.

Dies funktioniert, weil der Prozess differenzierbar ist (d. h. jeder Schritt ist glatt und hat wohldefinierte Gradienten, sodass kleine Pixeländerungen zu vorhersagbaren Änderungen im Verlust führen), was es dem Modell ermöglicht, die synthetischen Daten während des Gradientenabstiegs reibungslos anzupassen.

Während die Optimierung fortgesetzt wird, beginnen die synthetischen Bilder, eine sinnvolle Struktur zu bilden, einschließlich Formen und Texturen, die das Modell erkennt. Diese verfeinerten synthetischen Bilder werden häufig für Aufgaben der Bildklassifizierung verwendet, da sie die wichtigsten visuellen Hinweise erfassen, die ein Klassifikator zum Lernen benötigt.

Destillierte Datensätze werden ausgewertet, indem Modelle mit ihnen trainiert und die Ergebnisse mit Modellen verglichen werden, die auf echten Daten trainiert wurden. Forscher messen die Validierungsgenauigkeit und überprüfen, ob das synthetische Set die diskriminativen Merkmale (die Muster oder Signale, auf die sich das Modell stützt, um eine Klasse von einer anderen zu unterscheiden) bewahrt, die für die Trennung der Klassen erforderlich sind. Sie testen auch die Stabilität und Generalisierung über verschiedene Läufe oder Modell-Setups hinweg, um sicherzustellen, dass die destillierten Daten nicht zu Overfitting führen.

Link to this sectionReale Anwendungen der Datendistillation#

Im Folgenden werfen wir einen genaueren Blick auf Beispiele, die zeigen, wie destillierte Datensätze das Training beschleunigen und die Rechenkosten senken, während sie gleichzeitig eine starke Leistung beibehalten, selbst wenn die Daten begrenzt oder hochspezialisiert sind.

Link to this sectionVerwendung von Dataset Distillation für Computer-Vision-Anwendungen#

Wenn es um Computer Vision geht, ist das Ziel, Modelle zu trainieren, die visuelle Daten wie Bilder und Videos verstehen. Diese Modelle lernen Muster wie Kanten, Texturen, Formen und Objekte und nutzen diese Muster dann für Aufgaben wie Bildklassifizierung, Objekterkennung oder Segmentierung. Da Vision-Probleme oft eine enorme Variation bei Beleuchtung, Hintergründen und Blickwinkeln aufweisen, benötigen Computer-Vision-Systeme normalerweise große Datensätze, um gut zu generalisieren, was das Training teuer und langsam macht.

Abb. 4. Ein Beispiel für Dataset Distillation (Quelle)

Wenn es um Bildklassifizierungs-Anwendungsfälle wie medizinische Scans, Wildtierbeobachtung oder die Erkennung von Fabrikdefekten geht, stehen Modelle oft vor einem schwierigen Kompromiss zwischen Genauigkeit und Trainingskosten. Diese Aufgaben beinhalten typischerweise riesige Datensätze.

Dataset Distillation kann den ursprünglichen Trainingssatz auf eine kleine Anzahl synthetischer Bilder komprimieren, die dennoch die wichtigsten visuellen Hinweise für den Klassifikator enthalten. Bei großen Benchmarks wie ImageNet wurde gezeigt, dass destillierte Sets, die nur etwa 4,2% des Originals verwenden, eine starke Klassifizierungsgenauigkeit beibehalten. Das bedeutet, dass ein winziger synthetischer Proxy Millionen echter Beispiele mit weitaus weniger Rechenaufwand ersetzen kann.

Link to this sectionSuche nach neuronalen Architekturen#

Neural Architecture Search, oder NAS, ist eine Technik, die automatisch viele mögliche Designs neuronaler Netzwerke erforscht, um dasjenige zu finden, das für eine Aufgabe am besten funktioniert. Da NAS eine große Anzahl von Kandidatenmodellen trainieren und bewerten muss, kann die Ausführung auf vollständigen Datensätzen langsam und sehr rechenintensiv sein.

Dataset Distillation hilft dabei, indem sie ein winziges synthetisches Trainingsset erstellt, das immer noch das wichtigste Lernsignal der Originaldaten enthält, sodass jede Kandidatenarchitektur viel schneller getestet werden kann. Dies ermöglicht es NAS, Designs effizient zu vergleichen, während die Rangfolge guter gegenüber schlechten Architekturen einigermaßen zuverlässig bleibt, was die Suchkosten reduziert, ohne viel an der endgültigen Modellqualität einzubüßen.

Link to this sectionKontinuierliches Lernen und Edge-Bereitstellung#

Systeme für kontinuierliches Lernen, also Modelle, die sich bei Eintreffen neuer Daten ständig aktualisieren, anstatt nur einmal trainiert zu werden, benötigen Aktualisierungen, die schnell und speichereffizient sind. Edge-Geräte wie Kameras, Telefone und Sensoren stehen vor ähnlichen Einschränkungen, da sie über knappe Rechen- und Speicherbudgets verfügen.

Dataset Distillation hilft in beiden Fällen, indem sie einen großen Trainingssatz zu einem winzigen synthetischen komprimiert, sodass Modelle sich unter Verwendung eines kleinen Replay-Sets anpassen oder neu trainieren können, anstatt den vollständigen Datensatz zu benötigen. Zum Beispiel zeigte eine Arbeit zum kernel-basierten Meta-Learning, dass nur 10 destillierte Beispiele eine Genauigkeit von über 64% bei CIFAR-10, einem Standard-Benchmark für Bildklassifizierung, erreichen können. Da das Replay-Set so kompakt ist, werden Aktualisierungen weitaus schneller und praktischer, insbesondere wenn Modelle häufig aktualisiert werden müssen.

Dataset Distillation kann auch neben Knowledge Distillation für große Sprachmodelle funktionieren. Ein kleiner destillierter Datensatz kann die wichtigsten Aufgabensignale vom Lehrermodell behalten, sodass ein komprimiertes Schülermodell effizienter trainiert oder aktualisiert werden kann, ohne viel Leistung zu verlieren. Da diese Datensätze winzig sind, sind sie besonders hilfreich für den Einsatz an der Edge oder auf Geräten, wo Speicher und Rechenleistung begrenzt sind, du aber dennoch möchtest, dass das Modell nach Aktualisierungen präzise bleibt.

Link to this sectionVor- und Nachteile der Datendistillation#

Hier sind einige Vorteile der Verwendung von Dataset Distillation:

• Großartig für schnelle Experimente. Du kannst neue Architekturen, Verlustfunktionen oder Hyperparameter testen, ohne jedes Mal auf einem riesigen Datensatz neu trainieren zu müssen.
• Potenzieller Datenschutzvorteil. Das Teilen destillierter synthetischer Beispiele kann sicherer sein als das Teilen echter Benutzerdatenpunkte, da Rohbeispiele nicht direkt exponiert werden.
• Oft stärker als die einfache Auswahl von Teilmengen. Anstatt nur Beispiele auszuwählen, optimiert die Distillation diese aktiv, um maximal informativ zu sein.

Während Dataset Distillation mehrere Vorteile bietet, sind hier einige Einschränkungen, die du beachten solltest:

• Overfitting: Destillierte Daten funktionieren oft am besten für die Architektur, die während der Distillation verwendet wurde, und lassen sich möglicherweise schlecht auf sehr unterschiedliche Modelle übertragen.
• Empfindlich gegenüber Hyperparametern. Ergebnisse können stark von Faktoren wie der Lernrate, der Initialisierung oder der Anzahl der Distillationsschritte abhängen.
• Schwieriger auf reale Komplexität zu skalieren. Methoden, die bei Benchmarks gut funktionieren, können bei großen, unordentlichen oder hochauflösenden Datensätzen an Genauigkeit verlieren.

Link to this sectionWichtige Erkenntnisse#

Dataset Distillation ermöglicht es, dass ein kleiner Satz synthetischer Beispiele einem Modell fast so effektiv etwas beibringen kann wie ein vollständiger Datensatz. Dies macht Machine Learning schneller, effizienter und leichter skalierbar. Da Modelle wachsen und mehr Daten benötigen, bieten destillierte Datensätze einen praktischen Weg, Rechenkosten zu senken, ohne die Genauigkeit zu opfern.

Tritt unserer Community bei und sieh dir unser GitHub-Repository an, um mehr über KI zu erfahren. Wenn du dein eigenes Vision-KI-Projekt aufbauen möchtest, sieh dir unsere Lizenzierungsoptionen an. Erfahre mehr über Anwendungen wie KI im Gesundheitswesen und Vision-KI im Einzelhandel, indem du unsere Lösungsseiten besuchst.