Neural Architecture Search (NAS)

Die Suche nach neuronalen Architekturen (NAS) ist der Bereich des automatisierten maschinellen Lernens (AutoML), der die Struktur eines neuronalen Netzes automatisch entwirft. Statt dass ein Ingenieur Faltungen und andere Schichttypen, Tiefen, Breiten und Verbindungen von Hand auswählt, schlägt ein Suchalgorithmus mögliche Architekturen vor, schätzt ihre Leistung bei der jeweiligen Aufgabe und nutzt die Ergebnisse, um bessere Architekturen vorzuschlagen. Ziel ist meist eine hohe Genauigkeit, oft in Verbindung mit einem Kostenfaktor wie Inferenzlatenz, Parameterzahl oder FLOPs auf der Zielhardware. NAS brachte mehrere weit verbreitete Backbones für die Computer Vision hervor, darunter EfficientNet und MobileNetV3.

So funktioniert NAS#

Eine Übersichtsarbeit im Journal of Machine Learning Research ordnet NAS-Verfahren anhand von drei Dimensionen:

1. Suchraum: Die Menge der Architekturen, die erstellt werden können. Dazu gehört, welche Operationstypen, Kernelgrößen und Sprungverbindungen zulässig sind und wie sie verbunden werden dürfen. Viele Verfahren suchen nach einer kleinen, wiederholbaren Zelle und stapeln Kopien davon. Das verkleinert den Suchraum und ermöglicht es, eine auf einem kleinen Datensatz gefundene Zelle auf einen großen Datensatz zu übertragen.
2. Suchstrategie: Der Algorithmus, der auswählt, welche Kandidaten getestet werden – von Steuerungsmodellen für bestärkendes Lernen und evolutionären Verfahren bis hin zu gradientenbasierten Methoden und einfacher Zufallsstichprobe.
3. Strategie zur Leistungsschätzung: Wie ein Kandidat ohne vollständiges Training bewertet wird, etwa anhand weniger Trainingsepochen, kleinerer Bilder oder Datensätze, Vorhersagen zur endgültigen Genauigkeit oder gemeinsam genutzter Gewichte zwischen Kandidaten.

Von Tausenden GPU-Tagen zu wenigen Stunden#

Frühe NAS-Verfahren waren teuer, weil jeder Kandidat bis zur Konvergenz trainiert wurde. In der Studie von Zoph und Le aus dem Jahr 2016 erzeugte ein mit bestärkendem Lernen trainiertes rekurrentes Steuerungsmodell die Netze. Die Suche lief gleichzeitig auf 800 GPUs. Die anschließende NASNet-Arbeit verwendete vier Tage lang 500 GPUs, um auf CIFAR-10 eine Zelle zu finden, die sich auf ImageNet übertragen ließ. AmoebaNet erzielte mit regulierter Evolution ähnliche Ergebnisse, benötigte dafür aber etwa 3,150 GPU-Tage. ENAS verkürzte die Suche auf weniger als 16 Stunden auf einer einzelnen GPU, indem alle Kandidaten Modellgewichte gemeinsam nutzten und als Teilgraphen eines großen Netzes behandelt wurden. DARTS wandelte die diskrete Auswahl der Operationen in kontinuierliche Gewichte um, sodass sich die Architektur selbst innerhalb weniger GPU-Tage mit Gradientenabstieg optimieren ließ. Benchmarks relativierten die Ergebnisse ebenfalls: Eine Zufallssuche mit frühem Abbruch schnitt bei den Benchmarks Penn Treebank und CIFAR-10 mindestens so gut ab wie ENAS.

Hardwarebewusste NAS und mit NAS erstellte Modelle#

Den größten praktischen Einfluss hatte NAS auf effiziente Modelle für Edge-KI, bei denen die Genauigkeit gegen die Geschwindigkeit auf einem bestimmten Gerät abgewogen werden muss. MnasNet bezog die auf echten Smartphones gemessene Latenz in das Suchziel ein und erreichte auf einem Pixel-Smartphone eine ImageNet-Top-1-Genauigkeit von 75,2 % bei 78 ms. Damit war es 1,8-mal schneller als MobileNetV2 und zugleich um 0,5 % genauer. EfficientNet-B0 entstand durch eine ähnliche Suche und wurde anschließend mit zusammengesetzter Skalierung zur Modellfamilie B1–B7 erweitert. MobileNetV3 kombinierte hardwarebewusste NAS mit dem NetAdapt-Algorithmus, um das Modell für mobile CPUs abzustimmen. Zur Objekterkennung wurden Decis YOLO-NAS-Modelle mit der Suchmaschine AutoNAC gefunden und für einen geringen Genauigkeitsverlust nach der INT8-Quantisierung entwickelt. Über die Klasse NAS im Ultralytics-Paket lassen sich die Modelle für Inferenz, Validierung und Export verwenden, nicht jedoch für das Training. NVIDIA hat Deci inzwischen übernommen. Das ursprüngliche Team aktualisiert die Modelle nicht mehr.

Ein minimales NAS-Beispiel#

Das folgende Beispiel verwendet die einfachste Suchstrategie, die Zufallsstichprobe, für einen kleinen Suchraum aus mehrschichtigen Perzeptronen auf dem handgeschriebenen Zifferndatensatz von scikit-learn. Jeder Kandidat wird nur 30 Epochen lang trainiert, um die Leistung mit geringem Aufwand zu schätzen, und anhand von Validierungsdaten bewertet:

import random
import warnings

from sklearn.datasets import load_digits
from sklearn.exceptions import ConvergenceWarning
from sklearn.model_selection import train_test_split
from sklearn.neural_network import MLPClassifier

warnings.simplefilter("ignore", ConvergenceWarning)  # short training runs are the cheap estimate
X, y = load_digits(return_X_y=True)
X_train, X_val, y_train, y_val = train_test_split(X / 16, y, random_state=0)

# Search space: 1-3 hidden layers, each 8-128 units wide. Search strategy: 12 random samples
random.seed(0)
space = [8, 16, 32, 64, 128]
candidates = {tuple(random.choices(space, k=random.randint(1, 3))) for _ in range(12)}

# Performance estimation: train each candidate for only 30 epochs, then score it on validation data
scores = {}
for layers in candidates:
    model = MLPClassifier(hidden_layer_sizes=layers, max_iter=30, random_state=0)
    scores[layers] = model.fit(X_train, y_train).score(X_val, y_val)

worst, best = min(scores, key=scores.get), max(scores, key=scores.get)
print(f"{len(scores)} architectures: worst {worst} {scores[worst]:.3f}, best {best} {scores[best]:.3f}")

Die 12 Stichproben ergeben 10 verschiedene Architekturen. Ihre Validierungsgenauigkeit reicht von 0.398 bei zwei Schichten mit je 8 Einheiten bis zu 0.978 bei Schichten mit 128, 128 und 16 Einheiten. Allein die Wahl der Architektur verändert die Genauigkeit also um fast 60 Prozentpunkte. Bei einem vollständigen NAS-Lauf würde der beste Kandidat bis zur Konvergenz erneut trainiert und anhand einer separaten Testmenge bewertet.

NAS im Vergleich zu verwandten Begriffen#

• Optimierung von Hyperparametern: Optimiert Trainingseinstellungen wie die Lernrate für eine feste Architektur. Bei NAS ist die Architektur selbst die Variable, und beide Verfahren werden oft gemeinsam eingesetzt.
• Modellbeschneidung und Wissensdestillation: Verkleinern ein bestehendes Netzwerk nach dem Training oder ahmen es nach, während NAS vor dem Training nach einem effizienten Entwurf sucht.
• Transferlernen: Verwendet die gelernten Gewichte eines vortrainierten Modells erneut. NAS legt die Struktur fest, mit der diese Gewichte belegt werden, und durch NAS gefundene Netzwerke wie EfficientNet sind selbst beliebte vortrainierte Backbones.