Was ist EfficientNet? Ein kurzer Überblick

Im Jahr 2019 stellten Forscher von Google AI EfficientNet vor, ein hochmodernes Computer Vision-Modell, das entwickelt wurde, um Objekte und Muster in Bildern zu erkennen. Es wurde primär für die Bildklassifizierung entworfen, bei der ein Bild einer von mehreren vordefinierten Kategorien zugeordnet wird. Heute dient EfficientNet jedoch auch als Backbone für komplexere Aufgaben wie Objekterkennung, Segmentierung und Transfer Learning.

Vor EfficientNet versuchten solche Machine-Learning- und Vision-AI-Modelle die Genauigkeit zu verbessern, indem sie mehr Layer hinzufügten oder die Größe dieser Layer erhöhten. Layer sind die Schritte in einem neuronalen Netzwerkmodell (eine Art Deep-Learning-Modell, das vom menschlichen Gehirn inspiriert ist), die Daten verarbeiten, um Muster zu lernen und die Genauigkeit zu verbessern.

Diese Änderungen führten zu einem Kompromiss: Traditionelle KI-Modelle wurden größer und langsamer, während der Genauigkeitsgewinn oft minimal im Vergleich zum signifikanten Anstieg der erforderlichen Rechenleistung war.

EfficientNet verfolgte einen anderen Ansatz. Es erhöhte die Tiefe (Anzahl der Layer), die Breite (Anzahl der Einheiten pro Layer) und die Bildauflösung (Detaillierungsgrad der Eingabebilder) gemeinsam auf eine ausgewogene Weise. Diese Methode, Compound Scaling genannt, nutzt zuverlässig die gesamte verfügbare Rechenleistung. Das Endergebnis ist ein kleineres und schnelleres Modell, das eine bessere Leistung erbringen kann als ältere Modelle wie ResNet oder DenseNet.

Heute bieten neuere Computer-Vision-Modelle wie Ultralytics YOLO11 eine höhere Genauigkeit, Geschwindigkeit und Effizienz. Dennoch bleibt EfficientNet ein wichtiger Meilenstein, der das Design vieler fortschrittlicher Architekturen beeinflusst hat.

In diesem Artikel stellen wir EfficientNet in fünf Minuten vor, erklären wie es funktioniert, was es einzigartig macht und warum es in der Computer Vision nach wie vor von Bedeutung ist. Fangen wir an!

Link to this sectionWas ist EfficientNet?#

Bevor EfficientNet entwickelt wurde, verbesserten die meisten Bilderkennungsmodelle ihre Genauigkeit durch die Anpassung ihrer Layer oder durch die Erhöhung der Eingabebildgröße, um mehr Details zu erfassen. Obwohl diese Strategien die Ergebnisse verbesserten, machten sie die Modelle auch schwerfälliger und anspruchsvoller. Das bedeutete, dass sie mehr Arbeitsspeicher und bessere Hardware benötigten.

Anstatt einzelne Layer zu ändern, skaliert EfficientNet Tiefe, Breite und Bildauflösung zusammen mithilfe einer Methode namens Compound Scaling. Dieser Ansatz ermöglicht es dem Modell, effizient zu wachsen, ohne einen einzelnen Aspekt zu überlasten.

Die EfficientNet-Architektur verarbeitet Bilder durch eine Reihe von Blöcken, die jeweils aus kleineren Modulen aufgebaut sind. Die Anzahl der Module in jedem Block hängt von der Modellgröße ab.

Abb. 1. Die Bausteine von EfficientNet. (Quelle)

Kleinere Versionen verwenden weniger Module, während größere Versionen Module häufiger wiederholen. Dieses flexible Design ermöglicht es EfficientNet, eine hohe Genauigkeit und Effizienz in einer Vielzahl von Anwendungen zu liefern, von Mobilgeräten bis hin zu groß angelegten Systemen.

Link to this sectionWie Compound Scaling funktioniert#

Die Compound-Scaling-Methode erweitert die Tiefe, Breite und Bildauflösung eines Modells, hält sie aber in Balance. Dies ermöglicht eine effiziente Nutzung der Rechenleistung. Die Serie beginnt mit einem kleineren Basismodell namens EfficientNet-B0, das als Grundlage für alle anderen Versionen dient.

Von B0 aus skalieren die Modelle zu größeren Varianten, die EfficientNet-B1 bis EfficientNet-B7 genannt werden. Mit jedem Schritt gewinnt das Netzwerk zusätzliche Layer hinzu, erhöht die Anzahl der Kanäle (Einheiten, die für die Verarbeitung verwendet werden) und verarbeitet Eingabebilder mit höherer Auflösung. Das Wachstum bei jedem Schritt wird durch einen Parameter namens Compound-Koeffizient bestimmt, der sicherstellt, dass Tiefe, Breite und Auflösung in festen Proportionen zueinander wachsen und nicht unabhängig voneinander.

Abb. 2. Compound Scaling erhöht die Breite, Tiefe und Bildauflösung eines Modells. (Quelle)

Link to this sectionEfficientNet-Architektur#

Als Nächstes werfen wir einen Blick auf die Architektur von EfficientNet.

Sie baut auf MobileNetV2 auf, einem leichtgewichtigen Computer-Vision-Modell, das für Mobil- und eingebettete Geräte optimiert wurde. Der Kern ist der Mobile Inverted Bottleneck Convolution (MBConv) Block, ein spezieller Layer, der Bilddaten wie eine Standard-Convolution verarbeitet, jedoch mit weniger Berechnungen. Dieser Block macht das Modell sowohl schnell als auch speichereffizienter.

Innerhalb jedes MBConv-Blocks befindet sich ein Squeeze-and-Excitation (SE)-Modul. Dieses Modul passt die Stärke verschiedener Kanäle im Netzwerk an. Es verstärkt wichtige Kanäle und reduziert die Stärke anderer. Das Modul hilft dem Netzwerk, sich auf die wichtigsten Merkmale in einem Bild zu konzentrieren und den Rest zu ignorieren. Das EfficientNet-Modell verwendet zudem eine Swish-Aktivierungsfunktion (eine mathematische Funktion, die dem Netzwerk hilft, Muster zu lernen), die dem Modell hilft, Muster in Bildern besser zu erkennen als ältere Methoden.

Darüber hinaus nutzt es DropConnect, bei dem einige Verbindungen innerhalb des Netzwerks während des Trainings zufällig abgeschaltet werden. Diese stochastische Regularisierungsmethode (eine Randomisierungstechnik, um zu verhindern, dass das Modell Trainingsdaten auswendig lernt, anstatt sie zu verallgemeinern) reduziert Overfitting, indem sie das Netzwerk dazu zwingt, robustere Merkmalsdarstellungen (stärkere, allgemeinere Muster in den Daten) zu lernen, die besser auf ungesehene Daten übertragbar sind.

Abb. 3. Architektur von EfficientNet-B0 (Quelle)

Link to this sectionEin kurzer Überblick über die Modellvarianten von EfficientNet#

Nachdem wir nun ein besseres Verständnis davon haben, wie EfficientNet-Modelle funktionieren, schauen wir uns die verschiedenen Modellvarianten an.

EfficientNet-Modelle skalieren von B0 bis B7, wobei B0 als Baseline dient, die Geschwindigkeit und Genauigkeit ausbalanciert. Jede Version erhöht die Tiefe, Breite und Bildauflösung, was die Genauigkeit verbessert. Sie erfordern jedoch auch mehr Rechenleistung, von B1 und B2 bis hin zu den leistungsstarken B6 und B7.

Während EfficientNet-B3 und EfficientNet-B4 Modelle eine gute Balance für größere Bilder bieten, wird B5 oft für komplexe Datensätze gewählt, die Präzision erfordern. Über diese Modelle hinaus kann das neueste Modell, EfficientNet V2, die Trainingsgeschwindigkeit verbessern, besser mit kleinen Datensätzen umgehen und ist für moderne Hardware optimiert.

Link to this sectionAnwendungen von EfficientNet#

EfficientNet kann genaue Ergebnisse liefern und dabei weniger Speicher und Rechenleistung verbrauchen als viele andere Modelle. Dies macht es nützlich in vielen Bereichen, von der wissenschaftlichen Forschung bis hin zu Produkten, die Menschen täglich verwenden.

Link to this sectionMedizinische Bildanalyse#

Medizinische Bilder, wie CT-Scans der Lunge, enthalten oft subtile Details, die für eine genaue Diagnose entscheidend sind. KI-Modelle können bei der Analyse dieser Bilder helfen, um Muster aufzudecken, die für Menschen schwer zu erkennen sein könnten. Eine Anpassung von EfficientNet für diesen Zweck ist MONAI (Medical Open Network for AI) EfficientNet, das speziell für die medizinische Bildanalyse entwickelt wurde.

Aufbauend auf der Architektur von EfficientNet haben Forscher auch Lung-EffNet entwickelt, ein Modell, das Lungen-CT-Scans klassifiziert, um Tumore zu erkennen. Es kann Tumore als gutartig, bösartig oder normal kategorisieren und erreicht in experimentellen Umgebungen eine berichtete Genauigkeit von über 99%.

Abb. 4. Bildklassifizierung von Tumoren mit Lung-EffNet. (Quelle)

Link to this sectionEchtzeit-Objekterkennung#

Objekterkennung ist der Prozess, Objekte in einem Bild zu finden und ihre Position zu bestimmen. Dies ist ein wichtiger Bestandteil von Anwendungen wie Sicherheitssystemen, selbstfahrenden Autos und Drohnen.

EfficientNet wurde in diesem Bereich wichtig, weil es eine sehr effiziente Möglichkeit bot, Merkmale aus Bildern zu extrahieren. Seine Methode, Tiefe, Breite und Auflösung zu skalieren, zeigte, wie Modelle genau sein können, ohne zu schwer oder zu langsam zu sein. Deshalb nutzen viele Erkennungssysteme, wie EfficientDet, EfficientNet als Backbone.

Neuere Modelle, wie Ultralytics YOLO11, teilen das Ziel, Geschwindigkeit mit Genauigkeit zu kombinieren. Dieser Trend zu effizienten Modellen wurde stark von Ideen aus Architekturen wie EfficientNet beeinflusst.

Link to this sectionVor- und Nachteile von EfficientNet#

Hier sind einige Vorteile der Verwendung von EfficientNet in Computer-Vision-Projekten:

• Hohe Genauigkeit mit weniger Parametern: EfficientNet kann eine ähnliche oder bessere Genauigkeit liefern als ältere Modelle wie ResNet oder DenseNet. Es verwendet jedoch weniger Parameter, was das Training beschleunigt und die Bereitstellung erleichtert.
• Skalierbare Modellfamilie: Von B0 bis B7 kannst du eine Version wählen, die zu deiner Hardware und deinen Genauigkeitsanforderungen passt, ohne das Basisnetzwerk zu ändern.
• Gut für Transfer Learning: EfficientNet kann zuverlässige Modellleistung für Transfer Learning liefern, ein Prozess, bei dem ein vortrainiertes Modell für eine benutzerdefinierte Aufgabe neu trainiert wird. Es kann als Backbone für eine Vielzahl von Computer-Vision-Aufgaben fungieren. Es hat auch bei der Feinabstimmung starke Ergebnisse gezeigt. Zum Beispiel erzielte es auf CIFAR-100, einem weit verbreiteten Bildklassifizierungs-Datensatz, eine branchenführende Genauigkeit mit deutlich weniger Parametern als frühere Modelle.

Während die Verwendung von EfficientNet viele Vorteile bietet, sind hier einige Einschränkungen, die du beachten solltest:

• Erfordert mehr Speicher: Versionen wie EfficientNet-B6 und EfficientNet-B7 erfordern viel GPU-Speicher.
• Skalierung auf ImageNet abgestimmt: Die Skalierungseinstellungen wurden für den ImageNet-Datensatz entwickelt, daher kann die Leistung bei sehr unterschiedlichen Datensätzen ohne Feinabstimmung abnehmen. Dies gilt insbesondere für kleine Datensätze, da die Architektur und Skalierung von EfficientNet für einen großen und vielfältigen Datensatz wie ImageNet konzipiert wurden, der genügend Daten liefert, um seine Tiefe und Breite zu rechtfertigen.
• Langsamer auf einiger Hardware: EfficientNet verwendet Layer namens MBConv, die auf Effizienz bei moderner Hardware ausgelegt sind. Auf älteren GPUs oder CPUs können diese Layer langsamer laufen.

Link to this sectionWichtige Erkenntnisse#

EfficientNet hat die Art und Weise verändert, wie Computer-Vision-Modelle wachsen, indem es Tiefe, Breite und Bildauflösung in Balance hält. Es ist nach wie vor ein wichtiges Modell und hat auch neuere Architekturen beeinflusst. Insbesondere nimmt es einen bedeutungsvollen Platz in der Geschichte der Computer Vision ein.

Tritt unserer Community bei und besuche unser GitHub repository, um mehr über KI zu erfahren. Schau dir unsere Lösungsseiten an, um mehr über KI im Gesundheitswesen und Computer Vision in der Automobilindustrie zu lesen. Entdecke unsere Lizenzierungsoptionen und fange noch heute an, mit Computer Vision zu entwickeln!