Ein Leitfaden zur U-Net-Architektur und ihren Anwendungen

Computer Vision ist ein Teilgebiet der künstlichen Intelligenz (AI), das sich auf die Analyse visueller Daten konzentriert. Sie hat den Weg für viele hochmoderne Systeme geebnet, etwa für die Automatisierung der Produktprüfung in Fabriken und die Unterstützung autonomer Fahrzeuge bei der Navigation auf Straßen.

Eine der bekanntesten Aufgaben im Bereich Computer Vision ist die Objekterkennung. Diese Aufgabe ermöglicht es Modellen, Objekte in einem Bild mithilfe von Begrenzungsrahmen zu lokalisieren und zu identifizieren. Obwohl Begrenzungsrahmen für verschiedene Anwendungen hilfreich sind, liefern sie nur eine grobe Schätzung der Position eines Objekts.

In Bereichen wie dem Gesundheitswesen, in denen Präzision entscheidend ist, hängen Anwendungen visueller künstlicher Intelligenz jedoch von mehr ab als nur von der Identifizierung eines Objekts. Häufig benötigen sie auch Informationen über die genaue Form und Position von Objekten.

Genau dafür ist die Computer-Vision-Aufgabe der Segmentierung ausgelegt. Statt Begrenzungsrahmen zu verwenden, erkennen Segmentierungsmodelle Objekte auf Pixelebene. Im Laufe der Jahre haben Forschende spezialisierte Computer-Vision-Modelle für die Segmentierung entwickelt.

Ein solches Modell ist U-Net. Obwohl neuere und fortschrittlichere Modelle seine Leistung übertroffen haben, nimmt U-Net einen bedeutenden Platz in der Geschichte von Computer Vision ein. In diesem Artikel werfen wir einen genaueren Blick auf die U-Net-Architektur, ihre Funktionsweise, ihre bisherigen Einsatzgebiete und ihren Vergleich mit heute verfügbaren moderneren Segmentierungsmodellen.

Abb. 1. Ein Beispiel für die Segmentierung mit dem Deep-Learning-Modell U-Net. (Quelle)

Die Geschichte der Bildsegmentierung#

Bevor wir uns damit befassen, was U-Net ist, sehen wir uns zunächst an, wie sich Modelle zur Bildsegmentierung entwickelt haben.

Anfangs stützte sich Computer Vision auf herkömmliche Verfahren wie Kantenerkennung, Schwellwertverfahren oder Region Growing, um Objekte in einem Bild zu trennen. Diese Verfahren wurden eingesetzt, um Objektgrenzen anhand von Kanten zu erkennen, Bereiche nach Pixelintensität zu trennen und ähnliche Pixel zu gruppieren. Für einfache Fälle funktionierten sie, versagten jedoch häufig bei Bildern mit Rauschen, überlappenden Formen oder undeutlichen Grenzen.

Nach dem Aufstieg des Deep Learnings im Jahr 2012 führten Forschende 2014 das Konzept vollständig konvolutionaler Netzwerke (FCNs) für Aufgaben wie die semantische Segmentierung ein. Diese Modelle ersetzten bestimmte Teile eines konvolutionalen Netzwerks, sodass der Computer ein ganzes Bild auf einmal verarbeiten konnte, anstatt es in kleinere Teile zu zerlegen. Dadurch konnte das Modell detaillierte Karten erstellen, die den Bildinhalt klarer darstellen.

Abb. 2. Die Entwicklung von Segmentierungsalgorithmen auf Basis von Deep Learning. (Quelle)

Aufbauend auf den FCNs wurde U-Net 2015 von Forschenden der Universität Freiburg vorgestellt. Es wurde ursprünglich für die biomedizinische Bildsegmentierung entwickelt. Insbesondere wurde U-Net so konzipiert, dass es auch bei begrenzten annotierten Daten gute Ergebnisse erzielt.

Spätere Versionen wie UNet++ und TransUNet ergänzten unterdessen Verbesserungen wie Aufmerksamkeits- und eine bessere Merkmalsextraktion. Die Aufmerksamkeitsschichten helfen dem Modell, sich auf wichtige Bereiche zu konzentrieren, während die verbesserte Merkmalsextraktion detailliertere Informationen erfasst.

Was ist U-Net und wie fließen Merkmale durch das Modell?#

U-Net ist ein speziell für die Bildsegmentierung entwickeltes Deep-Learning-Modell. Es nimmt ein Bild als Eingabe und erzeugt eine Segmentierungsmaske, die jedes Pixel entsprechend dem Objekt oder Bereich klassifiziert, zu dem es gehört.

Das Modell verdankt seinen Namen seiner U-förmigen Architektur. Sie besteht aus zwei Hauptteilen: einem Encoder, der das Bild komprimiert und seine Merkmale lernt, und einem Decoder, der es wieder auf die ursprüngliche Größe erweitert. Dieses Design erzeugt eine symmetrische U-Form, die dem Modell hilft, sowohl die Gesamtstruktur eines Bildes als auch seine feineren Details zu verstehen.

Ein wichtiges Merkmal von U-Net ist der Einsatz von Skip-Verbindungen, über die Informationen vom Encoder direkt an den Decoder weitergegeben werden. Dadurch kann das Modell wichtige Details bewahren, die beim Komprimieren des Bildes verloren gehen könnten.

Ein Überblick über die U-Net-Architektur#

Hier siehst du, wie die U-Net-Architektur funktioniert:

• Eingabebild: U-Net beginnt mit einem 2D-Bild, etwa einer medizinischen Aufnahme oder einem Satellitenbild. Ziel ist es, jedem Pixel im Bild ein Klassenlabel zuzuweisen.
• Downsampling: Das Bild durchläuft konvolutionale Schichten, die wichtige visuelle Merkmale lernen. Während das Bild verschiedene Schichten durchläuft, nimmt seine Auflösung ab und das Modell erkennt übergeordnete Muster.
• Bottleneck-Schicht: In der Mitte des Netzwerks erreichen die Merkmalskarten ihre kleinste räumliche Auflösung, während sie semantische Merkmale auf hoher Ebene erfassen. Vereinfacht gesagt stellt diese komprimierte Repräsentation der Merkmalskarten den Gesamtkontext der Eingabe dar.
• Upsampling: Anschließend rekonstruiert das Netzwerk das Bild, indem es die Auflösung schrittweise erhöht. Transponierte Konvolutionen helfen dabei, die Merkmalskarten wieder in Richtung der ursprünglichen Größe zu erweitern.
• Skip-Verbindungen: Die Merkmalskarten aus dem Downsampling-Pfad werden mit denen aus dem Upsampling-Pfad verkettet. Dadurch bleiben feine räumliche Details erhalten, während Informationen zum Kontext auf hoher Ebene integriert werden.
• Die Ausgabe ist eine Segmentierungskarte: Die endgültige Ausgabe ist eine pixelweise Segmentierungsmaske mit der Größe der Eingabe. Jedes Pixel wird einer Kategorie wie Objekt, Hintergrund oder interessierendem Bereich zugeordnet.

Abb. 3. Diagramm der U-Net-Architektur. (Quelle)

Den Unterschied zwischen ViT und U-Net verstehen#

Wenn du dich mit U-Net beschäftigst, fragst du dich vielleicht, wie es sich von anderen Deep-Learning-Modellen wie dem Vision-Transformer (ViT) unterscheidet, der ebenfalls Segmentierungsaufgaben ausführen kann. Obwohl beide Modelle ähnliche Aufgaben bewältigen können, unterscheiden sie sich in ihrem Aufbau und in der Art und Weise, wie sie mit Segmentierung umgehen.

U-Net verarbeitet Bilder auf Pixelebene durch konvolutionale Schichten in einer Encoder-Decoder-Struktur. Es wird häufig für Aufgaben eingesetzt, die eine präzise Segmentierung erfordern, etwa bei medizinischen Aufnahmen oder Szenen für selbstfahrende Fahrzeuge.

Der Vision-Transformer (ViT) hingegen zerlegt Bilder in Bildausschnitte und verarbeitet sie mithilfe von Aufmerksamkeitsmechanismen gleichzeitig. Er verwendet Selbstaufmerksamkeit (einen Mechanismus, mit dem das Modell die Bedeutung verschiedener Bildteile im Verhältnis zueinander gewichten kann), um zu erfassen, wie die verschiedenen Bildteile miteinander in Beziehung stehen – anders als der konvolutionale Ansatz von U-Net.

Ein weiterer wichtiger Unterschied besteht darin, dass ViT im Allgemeinen mehr Daten benötigt, um gut zu funktionieren, dafür aber komplexe Muster hervorragend erkennt. U-Net hingegen erzielt mit kleineren Datensätzen gute Ergebnisse, lässt sich schneller trainieren und benötigt häufig weniger Trainingszeit.

Anwendungen des U-Net-Modells#

Nachdem wir nun besser verstehen, was U-Net ist und wie es funktioniert, sehen wir uns an, wie U-Net in verschiedenen Bereichen eingesetzt wurde.

Segmentierung von Hirnblutungen in medizinischen Aufnahmen#

U-Net entwickelte sich zu einer zuverlässigen Methode für die Segmentierung komplexer medizinischer Bilder auf Pixelebene, insbesondere während seiner Blütezeit in der Forschung. Forschende setzten es ein, um wichtige Bereiche in medizinischen Aufnahmen hervorzuheben, etwa Tumoren und Anzeichen innerer Blutungen in CT- und MRT-Bildern. Dieser Ansatz verbesserte die Genauigkeit von Diagnosen deutlich und vereinfachte in Forschungseinrichtungen die Analyse komplexer medizinischer Daten.

Ein Beispiel für die Wirkung von U-Net in der medizinischen Forschung ist sein Einsatz zur Erkennung von Schlaganfällen und Hirnblutungen in medizinischen Aufnahmen. Forschende konnten U-Net verwenden, um Kopfaufnahmen zu analysieren und auffällige Bereiche hervorzuheben, sodass Fälle, die sofortige Aufmerksamkeit erforderten, schneller erkannt werden konnten.

Abb. 4. Segmentierung von Läsionen bei hämorrhagischen Schlaganfällen mit 3D U-Net. (Quelle)

Segmentierung von Nutzpflanzen in der Landwirtschaft#

Ein weiterer Bereich, in dem Forschende U-Net eingesetzt haben, ist die Landwirtschaft, insbesondere zur Segmentierung von Nutzpflanzen, Unkraut und Boden. Es hilft Landwirten, die Pflanzengesundheit zu überwachen, Erträge zu schätzen und auf großen landwirtschaftlichen Flächen bessere Entscheidungen zu treffen. U-Net kann beispielsweise Nutzpflanzen von Unkraut unterscheiden, wodurch sich Herbizide effizienter ausbringen und Verschwendung reduzieren lässt.

Um Herausforderungen wie Bewegungsunschärfe in Drohnenbildern zu bewältigen, haben Forschende U-Net mit Verfahren zur Bild-Entschärfung verbessert. Dadurch wird eine klarere Segmentierung gewährleistet, selbst wenn die Daten während der Bewegung erfasst werden, etwa bei Luftaufnahmen.

Abb. 5. Trennung von Nutzpflanzen und Unkraut auf landwirtschaftlichen Flächen mit U-Net. (Quelle)

Autonomes Fahren#

Bevor fortschrittlichere Modelle der künstlichen Intelligenz eingeführt wurden, spielte U-Net eine wichtige Rolle bei der Erforschung, wie Segmentierung das autonome Fahren verbessern kann. In autonomen Fahrzeugen kann die semantische Segmentierung von U-Net verwendet werden, um jedes Pixel eines Bildes Kategorien wie Straße, Fahrzeug, Fußgänger und Fahrbahnmarkierung zuzuordnen. Dadurch erhält das Fahrzeug ein klares Bild seiner Umgebung, was eine sichere Navigation und effektive Entscheidungsfindung unterstützt.

Abb. 6. Eine Straßenszene, in der die befahrbare Fläche mithilfe von U-Net segmentiert wird. (Quelle)

Vor- und Nachteile von U-Net#

Auch heute ist U-Net aufgrund seines ausgewogenen Verhältnisses von Einfachheit, Genauigkeit und Anpassungsfähigkeit unter Forschenden eine gute Wahl für die Bildsegmentierung. Hier sind einige der wichtigsten Vorteile, durch die es sich auszeichnet:

• Anpassbar an verschiedene Modalitäten: U-Net wurde an verschiedene Datentypen angepasst, darunter medizinische 3D-Aufnahmen, Satellitenbilder und sogar Videobilder.
• Schnelle Inferenz bei Optimierung: Bei entsprechender Abstimmung kann U-Net effizient ausgeführt werden und eignet sich dadurch für Echtzeitanwendungen oder Anwendungen mit nahezu Echtzeitverarbeitung.
• Open Source und große Community: U-Net ist in den wichtigsten Deep-Learning-Bibliotheken verfügbar und wird von einer großen Community aus Entwicklern und Forschenden unterstützt.

U-Net hat viele Stärken, aber es gibt auch einige Einschränkungen, die du beachten solltest. Hier sind einige Faktoren, die du berücksichtigen solltest:

• Empfindlich gegenüber der Datenqualität: Die Leistung von U-Net kann durch Daten von schlechter Qualität beeinträchtigt werden, etwa durch verrauschte oder niedrig aufgelöste Bilder.
• Bei kleinen Datensätzen anfällig für Overfitting: Obwohl U-Net mit begrenzten Daten gute Ergebnisse erzielt, besteht weiterhin das Risiko von Overfitting, wenn das Modell nicht ausreichend regularisiert wird – insbesondere wenn der Datensatz zu klein oder nicht vielfältig genug ist.
• Rechenressourcen: U-Net kann rechenintensiv sein, insbesondere bei der Arbeit mit großen Datensätzen, und benötigt für das Training erhebliche Hardware-Ressourcen.

Wichtige Erkenntnisse#

U-Net war ein wichtiger Meilenstein in der Entwicklung der Bildsegmentierung. Es hat gezeigt, dass Deep-Learning-Modelle auch mit kleineren Datensätzen präzise Ergebnisse liefern können, insbesondere in Bereichen wie der medizinischen Bildgebung.

Dieser Durchbruch hat den Weg für fortschrittlichere Anwendungen in verschiedenen Bereichen geebnet. Während sich Computer Vision weiterentwickelt, bleiben Segmentierungsmodelle wie U-Net grundlegend dafür, dass Maschinen visuelle Daten mit hoher Präzision verstehen und interpretieren können.

Möchtest du eigene Computer-Vision-Projekte entwickeln? Erkunde unser GitHub-Repository, um tiefer in AI einzusteigen, und sieh dir unsere Lizenzoptionen an. Erfahre, wie Computer Vision im Gesundheitswesen die Effizienz verbessert, und entdecke die Auswirkungen von AI im Einzelhandel auf unseren Lösungsseiten! Werde jetzt Teil unserer wachsenden Community!