Neuronale Architektursuche (NAS)

Die neuronale Architektursuche (NAS) ist eine Technik, die den Entwurf von künstlichen neuronalen Netzen (NN) automatisiert. Traditionell erforderte der Entwurf einer leistungsstarken Modellarchitektur ein hohes Maß an Fachwissen und umfangreiche Versuche und Fehler. NAS automatisiert diesen komplexen Prozess, indem es Algorithmen einsetzt, um eine breite Palette möglicher Netzwerkdesigns zu untersuchen und die optimale Architektur für eine bestimmte Aufgabe und einen bestimmten Datensatz zu ermitteln. Diese Automatisierung beschleunigt die Entwicklung effizienter und leistungsstarker Deep-Learning-Modelle und macht fortschrittliche KI zugänglicher.

So funktioniert die Suche mit neuronaler Architektur

Der NAS-Prozess kann in drei Hauptkomponenten unterteilt werden:

1. Suchraum: Dieser definiert die Menge aller möglichen Architekturen, die entworfen werden können. Ein Suchraum kann einfach sein, indem er die Auswahl an Schichttypen (z. B. Faltung, Pooling) und deren Verbindungen festlegt, oder er kann sehr komplex sein und neuartige architektonische Motive zulassen. Ein gut definierter Suchraum ist entscheidend für den Ausgleich zwischen Flexibilität und rechnerischer Machbarkeit.
2. Suchstrategie: Dies ist der Algorithmus, der zur Erkundung des Suchraums verwendet wird. Frühe Methoden verwendeten eine zufällige Suche, aber seither haben sich ausgefeiltere Strategien entwickelt. Zu den gängigen Ansätzen gehören das Verstärkungslernen, bei dem ein Agent lernt, optimale Architekturen auszuwählen, und evolutionäre Algorithmen, die die natürliche Selektion nachahmen, um über Generationen bessere Architekturen zu "entwickeln". Gradientenbasierte Methoden, wie die differenzierbare Architektursuche (DARTS), sind aufgrund ihrer Effizienz ebenfalls sehr beliebt.
3. Strategie zur Leistungsabschätzung: Mit dieser Komponente wird die Qualität der einzelnen vorgeschlagenen Architekturen bewertet. Die einfachste Methode besteht darin, das Modell vollständig auf einem Datensatz zu trainieren und seine Leistung zu messen, aber das ist extrem zeitaufwändig. Um den Prozess zu beschleunigen, haben Forscher effizientere Techniken entwickelt, wie z. B. die Verwendung kleinerer Datensätze, das Training für weniger Epochen oder die Verwendung von Weight Sharing, um zu vermeiden, dass jede Architektur von Grund auf neu trainiert wird.

Anwendungen und Beispiele

NAS hat sich bei der Erstellung von hochmodernen Modellen für verschiedene Aufgaben als äußerst effektiv erwiesen und übertrifft in Bezug auf Leistung und Effizienz häufig von Menschen entworfene Architekturen.

• Computer Vision: NAS wird häufig zur Entwicklung effizienter Architekturen für die Objekterkennung und Bildklassifizierung eingesetzt. So wurde beispielsweise die EfficientNet-Modellfamilie unter Verwendung von NAS entwickelt, um ein systematisches Gleichgewicht zwischen Netzwerktiefe, -breite und -auflösung herzustellen. Auch Modelle wie DAMO-YOLO nutzen ein NAS-generiertes Backbone, um ein ausgewogenes Verhältnis zwischen Geschwindigkeit und Genauigkeit bei der Objekterkennung zu erreichen.
• Medizinische Bildanalyse: Im Gesundheitswesen kann NAS spezialisierte Modelle für Aufgaben wie die Tumorerkennung in Scans oder die Segmentierung zellulärer Strukturen erstellen. NAS können Architekturen so optimieren, dass sie effizient auf der speziellen Hardware medizinischer Geräte laufen, was zu schnelleren und genaueren Diagnosen führt. Dies birgt ein erhebliches Potenzial für die Verbesserung der KI im Gesundheitswesen.

NAS und verwandte Konzepte

NAS ist eine spezifische Komponente innerhalb des umfassenderen Bereichs des automatisierten maschinellen Lernens (AutoML). Während sich NAS ausschließlich darauf konzentriert, die beste neuronale Netzwerkarchitektur zu finden, zielt AutoML darauf ab, die gesamte ML-Pipeline zu automatisieren, einschließlich Schritten wie Datenvorverarbeitung, Feature-Engineering, Modellauswahl und Abstimmung der Hyperparameter.

Es ist wichtig, NAS von Hyperparameter-Tuning zu unterscheiden: Hyperparameter-Tuning optimiert die Konfigurationseinstellungen (wie Lernrate oder Stapelgröße) für eine bestimmte, feste Modellarchitektur, während NAS nach der Architektur selbst sucht. Beide Techniken werden häufig zusammen eingesetzt, um eine optimale Modellleistung zu erzielen. Tools wie Optuna oder Ray Tune, das sich in Ultralytics YOLO-Modelle integrieren lässt, sind für die Optimierung der Hyperparameter sehr beliebt. Das Verständnis dieser Unterscheidungen hilft bei der Anwendung der richtigen Automatisierungstechniken für den Aufbau effizienter KI-Systeme. In der Ultralytics-Dokumentation erfahren Sie mehr über die Abstimmung von Hyperparametern.