Neural Architecture Search (NAS)

Neuronale Architektursuche (NAS) ist eine anspruchsvolle Technik im Bereich des automatisierten maschinellen Lernens (AutoML), die den Entwurf künstlicher neuronaler Netzwerke automatisiert. Traditionell erforderten die Entwicklung leistungsstarker Deep-Learning-Architekturen (DL) umfassendes Fachwissen, Intuition und zeitaufwendiges Ausprobieren. NAS ersetzt diesen manuellen Prozess durch algorithmische Strategien, die systematisch eine große Bandbreite an Netzwerk-Topologien durchsuchen, um die optimale Struktur für eine bestimmte Aufgabe zu finden. Durch das Testen verschiedener Kombinationen aus Schichten und Operationen kann NAS Architekturen identifizieren, die von Menschen entworfene Modelle hinsichtlich Genauigkeit, Recheneffizienz oder Inferenzgeschwindigkeit deutlich übertreffen.

Zentrale Mechanismen von NAS#

Der Prozess zur Ermittlung einer leistungsfähigeren Architektur umfasst im Allgemeinen drei grundlegende Dimensionen, die zusammenwirken, um das beste neuronale Netzwerk (NN) zu finden:

1. Suchraum: Er definiert die Menge aller möglichen Architekturen, die der Algorithmus untersuchen kann. Er funktioniert wie eine Bibliothek von Bausteinen, etwa Faltungsfiltern, Pooling-Schichten und verschiedenen Aktivierungsfunktionen. Ein gut definierter Suchraum begrenzt die Komplexität, damit die Suche rechnerisch machbar bleibt, und bietet gleichzeitig genügend Flexibilität für Innovationen.

2. Suchstrategie: Statt jede Möglichkeit zu testen (Brute-Force), setzt NAS intelligente Algorithmen ein, um den Suchraum effizient zu durchlaufen. Zu den gängigen Ansätzen gehören bestärkendes Lernen, bei dem ein Agent lernt, im Laufe der Zeit bessere Architekturen zu erzeugen, und evolutionäre Algorithmen, die leistungsstarke Modelle verändern und kombinieren, um bessere Kandidaten hervorzubringen.

3. Strategie zur Leistungsschätzung: Jedes Kandidatennetzwerk von Grund auf zu trainieren, ist unverhältnismäßig langsam. Zur Beschleunigung verwendet NAS Schätzverfahren – etwa das Training mit weniger Epochen, den Einsatz von Proxy-Datensätzen mit niedrigerer Auflösung oder gemeinsame Gewichtsnutzung –, um das Potenzial einer Kandidatenarchitektur schnell einzustufen.

Anwendungen in der Praxis#

NAS ist in Branchen mit strengen Hardwarebeschränkungen oder hohen Leistungsanforderungen zu einem entscheidenden Verfahren geworden und verschiebt die Grenzen der Computer Vision (CV) sowie anderer KI-Bereiche.

• Effizientes Edge Computing: Der Einsatz von KI auf Mobilgeräten erfordert Modelle, die sowohl leichtgewichtig als auch schnell sind. NAS wird umfassend eingesetzt, um Architekturen wie MobileNetV3 und EfficientNet zu finden, die die Inferenzlatenz minimieren und gleichzeitig eine hohe Präzision beibehalten. Dies ist für Edge-KI-Anwendungen wie die Videoanalyse in Echtzeit auf intelligenten Kameras oder autonomen Drohnen von entscheidender Bedeutung.
• Medizinische Bildgebung: Bei der medizinischen Bildanalyse ist Genauigkeit von größter Bedeutung. NAS kann Netzwerke so anpassen, dass sie subtile Anomalien in Röntgen- oder MRT-Aufnahmen erkennen, und findet dabei oft neuartige Wege zur Merkmalsextraktion, die menschliche Entwickler möglicherweise übersehen würden. Dies führt zu zuverlässigeren Werkzeugen, mit denen sich Erkrankungen wie Hirntumoren oder Frakturen mit höherer Sensitivität erkennen lassen.

NAS im Vergleich zu verwandten Konzepten#

Um die spezifische Rolle von NAS zu verstehen, ist es hilfreich, NAS von ähnlichen Optimierungsverfahren abzugrenzen:

• NAS im Vergleich zur Hyperparameter-Optimierung: Beide Verfahren beinhalten zwar Optimierung, doch die Hyperparameter-Optimierung konzentriert sich auf die Anpassung von Konfigurationseinstellungen wie Lernrate oder Batch-Größe für eine festgelegte Architektur. NAS verändert dagegen die grundlegende Struktur des Modells selbst, etwa die Anzahl der Schichten oder die Art und Weise, wie Neuronen miteinander verbunden sind.
• NAS im Vergleich zu Transfer Learning: Transfer Learning nimmt ein vorhandenes, vortrainiertes Modell und passt dessen Gewichte an eine neue Aufgabe an. NAS erstellt die Modellarchitektur von Grund auf neu (oder sucht nach einem besseren Backbone), bevor das Training beginnt.

Modelle aus NAS verwenden#

Auch wenn eine vollständige NAS-Suche erhebliche GPU-Rechenressourcen erfordert, können Entwickler problemlos Modelle verwenden, die mithilfe von NAS erstellt wurden. Beispielsweise wurde die YOLO-NAS-Architektur anhand dieser Suchprinzipien ermittelt, um sie für Aufgaben der Objekterkennung zu optimieren.

Das folgende Python-Beispiel zeigt, wie du ein bereits durchsuchtes NAS-Modell mit dem Paket ultralytics lädst und verwendest:

from ultralytics import NAS

# Load a pre-trained YOLO-NAS model (architecture found via NAS)
# 'yolo_nas_s.pt' refers to the small version of the model
model = NAS("yolo_nas_s.pt")

# Run inference on an image to detect objects
# This utilizes the optimized architecture for fast detection
results = model("https://ultralytics.com/images/bus.jpg")

# Print the top detected class
print(f"Detected: {results[0].names[int(results[0].boxes.cls[0])]}")

Wenn du moderne Modelle ohne die Komplexität von NAS trainieren möchtest, bietet Ultralytics YOLO26 eine hochoptimierte Architektur direkt ab Werk, die die neuesten Forschungsfortschritte berücksichtigt. Mit der Ultralytics Platform kannst du Datensätze, Training und Bereitstellung dieser Modelle einfach verwalten. Sie vereinfacht den gesamten MLOps-Lebenszyklus.