Neural Architecture Search (NAS)

Neural Architecture Search (NAS) ist eine hochentwickelte Technik im Bereich des Automated Machine Learning (AutoML), die den Entwurf künstlicher neuronaler Netze automatisiert. Traditionell erforderte das Engineering von leistungsstarken Deep Learning (DL)-Architekturen umfangreiche menschliche Fachkenntnisse, Intuition und zeitaufwändiges Ausprobieren (Trial-and-Error). NAS ersetzt diesen manuellen Prozess durch algorithmische Strategien, die systematisch eine Vielzahl von Netzwerktopologien untersuchen, um die optimale Struktur für eine spezifische Aufgabe zu finden. Durch das Testen verschiedener Kombinationen von Schichten und Operationen kann NAS Architekturen identifizieren, die von Menschen entworfene Modelle hinsichtlich Genauigkeit, Recheneffizienz oder Inferenzgeschwindigkeit deutlich übertreffen.

Kernmechanismen von NAS#

Der Prozess der Entdeckung einer überlegenen Architektur umfasst im Allgemeinen drei grundlegende Dimensionen, die zusammenwirken, um das beste Neuronale Netz (NN) zu finden:

1. Suchraum: Dieser definiert die Menge aller möglichen Architekturen, die der Algorithmus erkunden kann. Er fungiert wie eine Bibliothek von Bausteinen wie Faltungsfiltern (Convolution), Pooling-Schichten und verschiedenen Aktivierungsfunktionen. Ein gut definierter Suchraum schränkt die Komplexität ein, um sicherzustellen, dass die Suche rechentechnisch machbar bleibt, während gleichzeitig genügend Flexibilität für Innovationen gewährt wird.

2. Suchstrategie: Anstatt jede Möglichkeit zu testen (Brute-Force), setzt NAS auf intelligente Algorithmen, um effizient durch den Suchraum zu navigieren. Zu den gängigen Ansätzen gehören Reinforcement Learning, bei dem ein Agent lernt, im Laufe der Zeit bessere Architekturen zu generieren, und evolutionäre Algorithmen, die leistungsstärkste Modelle mutieren und kombinieren, um überlegene Kandidaten zu züchten.

3. Leistungsabschätzungsstrategie: Jedes Kandidatennetzwerk von Grund auf neu zu trainieren, ist unverhältnismäßig langsam. Um dies zu beschleunigen, verwendet NAS Schätzungstechniken – wie das Training mit weniger Epochen, die Verwendung von Proxy-Datensätzen mit geringerer Auflösung oder den Einsatz von Weight Sharing –, um das Potenzial einer Kandidatenarchitektur schnell zu bewerten.

Praxisanwendungen#

NAS ist in Branchen, in denen Hardware-Einschränkungen oder Leistungsanforderungen streng sind, unverzichtbar geworden und verschiebt die Grenzen der Computer Vision (CV) sowie anderer KI-Bereiche.

• Effizientes Edge Computing: Die Bereitstellung von KI auf Mobilgeräten erfordert Modelle, die sowohl leicht als auch schnell sind. NAS wird intensiv eingesetzt, um Architekturen wie MobileNetV3 und EfficientNet zu entdecken, die die Inferenzlatenz minimieren und gleichzeitig eine hohe Präzision aufrechterhalten. Dies ist entscheidend für Edge-KI-Anwendungen wie Echtzeit-Videoanalysen auf intelligenten Kameras oder autonomen Drohnen.
• Medizinische Bildgebung: In der medizinischen Bildanalyse steht Genauigkeit an erster Stelle. NAS kann Netzwerke so anpassen, dass sie subtile Anomalien in Röntgen- oder MRT-Scans erkennen, und findet dabei oft neuartige Merkmalsextraktionspfade, die menschliche Ingenieure übersehen könnten. Dies führt zu zuverlässigeren Werkzeugen zur Identifizierung von Erkrankungen wie Gehirntumoren oder Knochenbrüchen mit höherer Sensitivität.

NAS vs. verwandte Konzepte#

Um die spezifische Rolle von NAS zu verstehen, ist es hilfreich, es von ähnlichen Optimierungstechniken zu unterscheiden:

• NAS vs. Hyperparameter-Tuning: Obwohl beide Ansätze Optimierung beinhalten, konzentriert sich das Hyperparameter-Tuning auf die Anpassung von Konfigurationseinstellungen (wie Lernrate oder Batch-Größe) für eine feste Architektur. Im Gegensatz dazu verändert NAS die fundamentale Struktur des Modells selbst, wie etwa die Anzahl der Schichten oder die Art und Weise, wie Neuronen miteinander verbunden sind.
• NAS vs. Transfer Learning: Transfer Learning nimmt ein bestehendes, vortrainiertes Modell und passt dessen Gewichte an eine neue Aufgabe an. NAS erstellt die Modellarchitektur von Grund auf (oder sucht nach einem besseren Backbone), bevor das Training beginnt.

Nutzung von NAS-abgeleiteten Modellen#

Während die Durchführung einer vollständigen NAS-Suche erhebliche GPU-Rechenressourcen erfordert, können Entwickler ganz einfach Modelle nutzen, die über NAS erstellt wurden. Beispielsweise wurde die YOLO-NAS-Architektur mithilfe dieser Suchprinzipien entdeckt, um für Objekterkennungsaufgaben zu optimieren.

Das folgende Python-Beispiel veranschaulicht, wie man ein per NAS vorgesuchtes Modell mithilfe des Pakets ultralytics lädt und verwendet:

from ultralytics import NAS

# Load a pre-trained YOLO-NAS model (architecture found via NAS)
# 'yolo_nas_s.pt' refers to the small version of the model
model = NAS("yolo_nas_s.pt")

# Run inference on an image to detect objects
# This utilizes the optimized architecture for fast detection
results = model("https://ultralytics.com/images/bus.jpg")

# Print the top detected class
print(f"Detected: {results[0].names[int(results[0].boxes.cls[0])]}")

Für alle, die State-of-the-Art-Modelle trainieren möchten, ohne die Komplexität von NAS auf sich zu nehmen, bietet die Ultralytics YOLO26 direkt eine hochoptimierte Architektur, die die neuesten Fortschritte aus der Forschung integriert. Du kannst Datensätze, das Training und die Bereitstellung für diese Modelle ganz einfach über die Ultralytics Platform verwalten, was den gesamten MLOps-Lebenszyklus vereinfacht.