Was ist EfficientNet? Ein kurzer Überblick

Im Jahr 2019 stellten Forscher von Google AI EfficientNet vor, ein fortschrittliches computer vision-Modell, das entwickelt wurde, um Objekte und Muster in Bildern zu erkennen. Es wurde primär für die Bildklassifizierung konzipiert, bei der ein Bild einer von mehreren vordefinierten Kategorien zugewiesen wird. Heutzutage dient EfficientNet jedoch auch als Backbone für komplexere Aufgaben wie Objekterkennung, Segmentierung und Transfer Learning.

Vor EfficientNet versuchten solche Machine-Learning- und Vision-AI-Modelle die Genauigkeit zu verbessern, indem sie mehr Layer hinzufügten oder die Größe dieser Layer erhöhten. Layer sind die Schritte in einem neuronalen Netzwerkmodell (eine Art Deep-Learning-Modell, das vom menschlichen Gehirn inspiriert ist), die Daten verarbeiten, um Muster zu lernen und die Genauigkeit zu verbessern.

Diese Änderungen führten zu einem Kompromiss: Traditionelle KI-Modelle wurden größer und langsamer, während der Genauigkeitsgewinn oft minimal im Vergleich zum signifikanten Anstieg der erforderlichen Rechenleistung war.

EfficientNet verfolgte einen anderen Ansatz. Es erhöhte die Tiefe (Anzahl der Layer), die Breite (Anzahl der Einheiten in jedem Layer) und die Bildauflösung (das Detailniveau der Eingabebilder) gemeinsam auf ausgewogene Weise. Diese Methode, Compound Scaling genannt, nutzt zuverlässig die gesamte verfügbare Rechenleistung. Das Endergebnis ist ein kleineres und schnelleres Modell, das eine bessere Leistung erbringen kann als ältere Modelle wie ResNet oder DenseNet.

Heutzutage bieten neuere Computer-Vision-Modelle wie Ultralytics YOLO11 eine höhere Genauigkeit, Geschwindigkeit und Effizienz. Dennoch bleibt EfficientNet ein wichtiger Meilenstein, der das Design vieler fortschrittlicher Architekturen beeinflusst hat.

In diesem Artikel stellen wir EfficientNet in fünf Minuten vor, erklären wie es funktioniert, was es einzigartig macht und warum es in der Computer Vision nach wie vor von Bedeutung ist. Fangen wir an!

Was ist EfficientNet?#

Bevor EfficientNet entwickelt wurde, verbesserten die meisten Bilderkennungsmodelle ihre Genauigkeit durch die Anpassung ihrer Layer oder durch die Erhöhung der Eingabebildgröße, um mehr Details zu erfassen. Obwohl diese Strategien die Ergebnisse verbesserten, machten sie die Modelle auch schwerfälliger und anspruchsvoller. Das bedeutete, dass sie mehr Arbeitsspeicher und bessere Hardware benötigten.

Anstatt einzelne Layer zu ändern, skaliert EfficientNet Tiefe, Breite und Bildauflösung zusammen mithilfe einer Methode namens Compound Scaling. Dieser Ansatz ermöglicht es dem Modell, effizient zu wachsen, ohne einen einzelnen Aspekt zu überlasten.

Die EfficientNet-Architektur verarbeitet Bilder durch eine Reihe von Blöcken, die jeweils aus kleineren Modulen aufgebaut sind. Die Anzahl der Module in jedem Block hängt von der Modellgröße ab.

Abb. 1: Die Bausteine von EfficientNet. (Quelle)

Kleinere Versionen verwenden weniger Module, während größere Versionen Module häufiger wiederholen. Dieses flexible Design ermöglicht es EfficientNet, eine hohe Genauigkeit und Effizienz in einer Vielzahl von Anwendungen zu liefern, von Mobilgeräten bis hin zu groß angelegten Systemen.

Wie Compound Scaling funktioniert#

Die Compound-Scaling-Methode erweitert die Tiefe, Breite und Bildauflösung eines Modells, hält sie aber in Balance. Dies ermöglicht eine effiziente Nutzung der Rechenleistung. Die Serie beginnt mit einem kleineren Basismodell namens EfficientNet-B0, das als Grundlage für alle anderen Versionen dient.

Von B0 aus skalieren die Modelle zu größeren Varianten, die EfficientNet-B1 bis EfficientNet-B7 genannt werden. Mit jedem Schritt gewinnt das Netzwerk zusätzliche Layer hinzu, erhöht die Anzahl der Kanäle (Einheiten, die für die Verarbeitung verwendet werden) und verarbeitet Eingabebilder mit höherer Auflösung. Das Wachstum bei jedem Schritt wird durch einen Parameter namens Compound-Koeffizient bestimmt, der sicherstellt, dass Tiefe, Breite und Auflösung in festen Proportionen zueinander wachsen und nicht unabhängig voneinander.

Abb. 2: Compound Scaling erhöht die Breite, Tiefe und Bildauflösung eines Modells. (Quelle)

EfficientNet-Architektur#

Als Nächstes werfen wir einen Blick auf die Architektur von EfficientNet.

Sie baut auf MobileNetV2 auf, einem leichtgewichtigen Computer-Vision-Modell, das für Mobil- und eingebettete Geräte optimiert wurde. Der Kern ist der Mobile Inverted Bottleneck Convolution (MBConv) Block, ein spezieller Layer, der Bilddaten wie eine Standard-Convolution verarbeitet, jedoch mit weniger Berechnungen. Dieser Block macht das Modell sowohl schnell als auch speichereffizienter.

Innerhalb jedes MBConv-Blocks befindet sich ein Squeeze-and-Excitation (SE)-Modul. Dieses Modul passt die Stärke verschiedener Kanäle im Netzwerk an. Es verstärkt wichtige Kanäle und reduziert die Stärke anderer. Das Modul hilft dem Netzwerk, sich auf die wichtigsten Merkmale in einem Bild zu konzentrieren und den Rest zu ignorieren. Das EfficientNet-Modell verwendet zudem eine Swish-Aktivierungsfunktion (eine mathematische Funktion, die dem Netzwerk hilft, Muster zu lernen), die dem Modell hilft, Muster in Bildern besser zu erkennen als ältere Methoden.

Darüber hinaus nutzt es DropConnect, bei dem einige Verbindungen innerhalb des Netzwerks während des Trainings zufällig abgeschaltet werden. Diese stochastische Regularisierungsmethode (eine Randomisierungstechnik, um zu verhindern, dass das Modell Trainingsdaten auswendig lernt, anstatt sie zu verallgemeinern) reduziert Overfitting, indem sie das Netzwerk dazu zwingt, robustere Merkmalsdarstellungen (stärkere, allgemeinere Muster in den Daten) zu lernen, die besser auf ungesehene Daten übertragbar sind.

Abb. 3: Architektur von EfficientNet-B0 (Quelle)

Ein kurzer Überblick über die Modellvarianten von EfficientNet#

Nachdem wir nun ein besseres Verständnis davon haben, wie EfficientNet-Modelle funktionieren, schauen wir uns die verschiedenen Modellvarianten an.

EfficientNet-Modelle skalieren von B0 bis B7, wobei B0 als Baseline dient, die Geschwindigkeit und Genauigkeit ausbalanciert. Jede Version erhöht die Tiefe, Breite und Bildauflösung, was die Genauigkeit verbessert. Sie erfordern jedoch auch mehr Rechenleistung, von B1 und B2 bis hin zu den leistungsstarken B6 und B7.

Während EfficientNet-B3 und EfficientNet-B4 Modelle eine gute Balance für größere Bilder bieten, wird B5 oft für komplexe Datensätze gewählt, die Präzision erfordern. Über diese Modelle hinaus kann das neueste Modell, EfficientNet V2, die Trainingsgeschwindigkeit verbessern, besser mit kleinen Datensätzen umgehen und ist für moderne Hardware optimiert.

Anwendungen von EfficientNet#

EfficientNet kann genaue Ergebnisse liefern und dabei weniger Speicher und Rechenleistung verbrauchen als viele andere Modelle. Dies macht es nützlich in vielen Bereichen, von der wissenschaftlichen Forschung bis hin zu Produkten, die Menschen täglich verwenden.

Medizinische Bildanalyse#

Medizinische Bilder wie CT-Scans der Lunge enthalten oft subtile Details, die für eine genaue Diagnose entscheidend sind. KI-Modelle können bei der Analyse dieser Bilder helfen, um Muster aufzudecken, die für Menschen möglicherweise schwer zu erkennen sind. Eine Anpassung von EfficientNet für diesen Zweck ist MONAI (Medical Open Network for AI) EfficientNet, das speziell für die medical image analysis entwickelt wurde.

Aufbauend auf der Architektur von EfficientNet haben Forscher zudem Lung-EffNet entwickelt, ein Modell, das Lungen-CT-Scans klassifiziert, um Tumoren zu erkennen. Es kann Tumoren als gutartig, bösartig oder normal einkategorisieren und erzielt in experimentellen Umgebungen eine berichtete Genauigkeit von über 99 %.

Abb. 4: Bildklassifizierung von Tumoren mit Lung-EffNet. (Quelle)

Echtzeit-Objekterkennung#

Object detection ist der Prozess des Findens von Objekten in einem Bild und der Bestimmung ihrer Standorte. Es ist ein zentraler Bestandteil von Anwendungen wie Sicherheitssystemen, selbstfahrenden Autos und Drohnen.

EfficientNet wurde in diesem Bereich wichtig, weil es eine sehr effiziente Möglichkeit bot, Merkmale aus Bildern zu extrahieren. Seine Methode zur Skalierung von Tiefe, Breite und Auflösung zeigte, wie Modelle genau sein können, ohne zu schwer oder langsam zu sein. Aus diesem Grund verwenden viele Erkennungssysteme wie EfficientDet EfficientNet als ihren Backbone.

Neuere Modelle, wie Ultralytics YOLO11, teilen das Ziel, Geschwindigkeit mit Genauigkeit zu kombinieren. Dieser Trend zu effizienten Modellen wurde stark von Ideen aus Architekturen wie EfficientNet beeinflusst.

Vor- und Nachteile von EfficientNet#

Hier sind einige Vorteile der Verwendung von EfficientNet in Computer-Vision-Projekten:

• Hohe Genauigkeit mit weniger Parametern: EfficientNet kann eine ähnliche oder bessere Genauigkeit liefern als ältere Modelle wie ResNet oder DenseNet. Es verwendet jedoch weniger Parameter, was das Training beschleunigt und die Bereitstellung erleichtert.
• Skalierbare Modellfamilie: Von B0 bis B7 kannst du eine Version wählen, die zu deiner Hardware und deinen Genauigkeitsanforderungen passt, ohne das Basisnetzwerk zu ändern.
• Gut für Transfer Learning: EfficientNet kann eine zuverlässige Modellleistung für Transfer Learning liefern, was den Prozess des Retrainings eines vortrainierten Modells für eine benutzerdefinierte Aufgabe darstellt. Es kann als Backbone für eine Vielzahl von Computer-Vision-Aufgaben dienen. Es hat auch bei Fine-Tuning starke Ergebnisse gezeigt. Beispielsweise erreichte es eine branchenführende Genauigkeit auf CIFAR-100, einem weit verbreiteten image classification-Datensatz, mit deutlich weniger Parametern als vorherige Modelle.

Während die Verwendung von EfficientNet viele Vorteile bietet, sind hier einige Einschränkungen, die du beachten solltest:

• Erfordert mehr Speicher: Versionen wie EfficientNet-B6 und EfficientNet-B7 erfordern viel GPU-Speicher.
• Skalierung optimiert für ImageNet: Die Skalierungseinstellungen wurden für den ImageNet-Datensatz konzipiert, weshalb die Leistung bei stark abweichenden Datensätzen ohne Fine-Tuning abfallen kann. Dies gilt insbesondere für kleine Datensätze, da die Architektur und Skalierung von EfficientNet für einen großen und vielfältigen Datensatz wie ImageNet entworfen wurden, der genügend Daten bereitstellt, um seine Tiefe und Breite zu rechtfertigen.
• Langsamer auf einiger Hardware: EfficientNet verwendet Layer namens MBConv, die auf Effizienz bei moderner Hardware ausgelegt sind. Auf älteren GPUs oder CPUs können diese Layer langsamer laufen.

Wichtige Erkenntnisse#

EfficientNet hat die Art und Weise verändert, wie Computer-Vision-Modelle wachsen, indem es Tiefe, Breite und Bildauflösung in Balance hält. Es ist nach wie vor ein wichtiges Modell und hat auch neuere Architekturen beeinflusst. Insbesondere nimmt es einen bedeutungsvollen Platz in der Geschichte der Computer Vision ein.

Tritt unserer community und unserem GitHub repository bei, um mehr über KI zu erfahren. Schau dir unsere Lösungsseiten an, um mehr über AI in healthcare und computer vision in automotive zu lesen. Entdecke our licensing-Optionen und beginne noch heute mit der Entwicklung von Computer Vision!