Neural Architecture Search (NAS) ist ein automatisiertes Verfahren aus dem Bereich des maschinellen Lernens (ML), das sich auf den Entwurf der optimalen Struktur oder Architektur von neuronalen Netzen (NN) konzentriert. Anstatt sich auf menschliche Experten zu verlassen, die durch Versuch und Irrtum Netzwerklayouts manuell entwerfen, setzt NAS Algorithmen ein, um einen riesigen Raum möglicher Architekturen zu erkunden und die effektivsten für eine bestimmte Aufgabe und einen bestimmten Datensatz zu identifizieren. Diese Automatisierung beschleunigt den Entwicklungsprozess und kann neuartige, leistungsstarke Architekturen aufdecken, die für menschliche Designer/innen nicht intuitiv ersichtlich sind, und sie optimiert Metriken wie Genauigkeit, Geschwindigkeit(Inferenzlatenz) oder Recheneffizienz, was für den Einsatz von Modellen auf Edge-KI-Geräten entscheidend ist.
So funktioniert die Suche mit neuronaler Architektur
Der grundlegende Prozess von NAS umfasst drei Hauptkomponenten: einen Suchraum, eine Suchstrategie und eine Strategie zur Leistungsabschätzung. Der Suchraum definiert die Menge der möglichen Netzwerkarchitekturen, die entworfen werden können. Er umreißt im Wesentlichen die Bausteine (wie verschiedene Arten von Faltungsoder Aktivierungsfunktionen) und wie sie miteinander verbunden werden können. Die Suchstrategie steuert die Erkundung dieses Raums mit Methoden, die von der Zufallssuche über das Verstärkungslernen bis hin zu evolutionären Algorithmen reichen. Dabei wird das Netzwerk oft teilweise oder vollständig auf einem Datensatz trainiert und seine Leistung gemessen, obwohl Techniken wie Weight Sharing oder Leistungsvorhersagen diesen Vorgang beschleunigen können, wie in der Forschung von Google AI beschrieben. Eine effiziente Verwaltung dieser Experimente kann durch Plattformen wie Weights & Biases oder Ultralytics HUB.
Die wichtigsten Vorteile von NAS
Die Automatisierung des Architekturentwurfs mit NAS bietet erhebliche Vorteile:
- Optimierte Leistung: Findet Architekturen, die auf bestimmte Aufgaben wie die Erkennung von Objekten oder die Klassifizierung von Bildern zugeschnitten sind und oft die von Hand entwickelten Architekturen an Genauigkeit oder Effizienz übertreffen.
- Geringere Entwicklungszeit: Automatisiert den zeitaufwändigen und oft von Intuition geprägten Prozess des Architekturentwurfs.
- Entdeckung von neuartigen Architekturen: Entdeckt unkonventionelle, aber effektive Netzwerkstrukturen, die menschliche Designer übersehen könnten.
- Effizienz für spezifische Hardware: Kann Architekturen für Einsatzbedingungen optimieren, z. B. niedrige Inferenzlatenz auf mobilen Geräten(Edge AI) oder spezielle Beschleuniger wie TPUs.
Anwendungen in KI und maschinellem Lernen
NAS hat sich in verschiedenen Bereichen des Deep Learning (DL) bewährt:
1. Optimierte Modelle für die Objekterkennung
Ein herausragendes Beispiel ist YOLO, entwickelt von Deci AI unter Verwendung der NAS-Technologie. Dieses Modell zielt speziell auf die Beschränkungen in früheren Ultralytics YOLO Versionen durch die Integration von quantisierungsfreundlichen Blöcken, die durch NAS gefunden wurden. Das Ergebnis sind Modelle, die ein hervorragendes Gleichgewicht zwischen Genauigkeit und Latenz bieten, was sie für Echtzeitanwendungen wie KI in Automobillösungen und intelligentes Verkehrsmanagement sehr effektiv macht, selbst nach der Quantisierung des Modells in Formate wie INT8 für einen effizienten Einsatz. Weitere Informationen zu Quantisierungstechniken findest du in Ressourcen wie der NVIDIA TensorRT oder dem Ultralytics zu den Modellbereitstellungsoptionen. Ultralytics bietet Unterstützung für verschiedene Modelle zur Objekterkennung, darunter YOLO.
NAS und verwandte Konzepte
NAS ist eine spezielle Komponente innerhalb des umfassenderen Bereichs des automatisierten maschinellen Lernens (AutoML). Während sich NAS ausschließlich darauf konzentriert, die beste neuronale Netzwerkarchitektur zu finden, zielt AutoML darauf ab, die gesamte ML-Pipeline zu automatisieren, einschließlich Schritten wie Datenvorverarbeitung, Feature Engineering, Modellauswahl und Hyperparameter-Tuning. Es ist wichtig, zwischen NAS und Hyperparameter-Tuning zu unterscheiden: Beim Hyperparameter-Tuning werden die Konfigurationseinstellungen (z. B. Lernrate oder Stapelgröße) für eine bestimmte, festgelegte Modellarchitektur optimiert, während NAS nach der Architektur selbst sucht. Beide Techniken werden oft zusammen eingesetzt, um eine optimale Modellleistung zu erzielen. Tools wie Optuna oder Ray Tune, das in Ultralytics YOLO integriert ist, sind für die Optimierung der Hyperparameter sehr beliebt. Wenn du diese Unterschiede verstehst, kannst du die richtigen Automatisierungstechniken anwenden, um effiziente KI-Systeme zu entwickeln. Mehr über die Optimierung von Hyperparametern erfährst du in der Ultralytics .
DE
EN
ZH
KO
JA
RU
FR
ES
PT
IT
AR
TR
VI
