Ein Leitfaden zur U-Net-Architektur und ihren Anwendungen

Computervision ist ein Teilgebiet der künstlichen Intelligenz (AI), das sich mit der Analyse visueller Daten beschäftigt. Sie hat den Weg für viele praktische Systeme geebnet, zum Beispiel für die Automatisierung der Produktprüfung in Fabriken und für die Unterstützung autonomer Fahrzeuge bei der Navigation auf Straßen.

Eine der bekanntesten Aufgaben in Computer Vision ist die Objekterkennung. Dabei können Modelle Objekte in einem Bild mithilfe von Begrenzungsrahmen lokalisieren und identifizieren. Begrenzungsrahmen sind zwar für verschiedene Anwendungen hilfreich, liefern aber nur eine ungefähre Angabe zum Standort eines Objekts.

In Bereichen wie dem Gesundheitswesen, in denen Präzision entscheidend ist, müssen Anwendungen von Vision-KI jedoch mehr leisten, als nur ein Objekt zu identifizieren. Oft benötigen sie auch Informationen zur genauen Form und Position von Objekten.

Genau dafür wurde die Computer-Vision-Aufgabe Segmentierung entwickelt. Anstatt Begrenzungsrahmen zu verwenden, erkennen Segmentierungsmodelle Objekte auf Pixelebene. Im Laufe der Jahre haben Forschende spezielle Computer-Vision-Modelle für die Segmentierung entwickelt.

Ein solches Modell ist U-Net. Obwohl neuere und fortschrittlichere Modelle seine Leistung übertroffen haben, nimmt U-Net einen wichtigen Platz in der Geschichte der Computervision ein. In diesem Artikel sehen wir uns die U-Net-Architektur, ihre Funktionsweise und Einsatzgebiete sowie den Vergleich mit den heute verfügbaren moderneren Segmentierungsmodellen genauer an.

Abb. 1. Beispiel für eine Segmentierung mit dem Deep-Learning-Modell U-Net. (Quelle)

Die Geschichte der Bildsegmentierung#

Bevor wir uns damit befassen, was U-Net ist, sehen wir uns zunächst genauer an, wie sich Bildsegmentierungsmodelle entwickelt haben.

Anfangs stützte sich Computer Vision auf herkömmliche Verfahren wie Kantenerkennung, Schwellwertverfahren oder Region Growing, um Objekte in einem Bild voneinander zu trennen. Mit diesen Verfahren wurden Objektgrenzen anhand von Kanten erkannt, Bereiche nach Pixelintensität getrennt und ähnliche Pixel gruppiert. Bei einfachen Fällen funktionierten sie gut, versagten jedoch häufig bei verrauschten Bildern, überlappenden Formen oder unklaren Grenzen.

Nach dem Aufkommen des Deep Learning im Jahr 2012 führten Forschende 2014 vollständig gefaltete neuronale Netze (FCNs) für Aufgaben wie die semantische Segmentierung ein. Diese Modelle ersetzten bestimmte Teile eines Faltungsnetzwerks, damit der Computer ein ganzes Bild auf einmal betrachten konnte, anstatt es in kleinere Teile zu zerlegen. Dadurch konnte das Modell detaillierte Karten erstellen, die den Bildinhalt klarer darstellen.

Abb. 2. Die Entwicklung von Segmentierungsalgorithmen auf Basis von Deep Learning. (Quelle)

Aufbauend auf den FCNs stellten Forschende der Universität Freiburg U-Net 2015 vor. Das Modell wurde ursprünglich für die biomedizinische Bildsegmentierung entwickelt. Insbesondere sollte U-Net auch dann gute Ergebnisse liefern, wenn nur wenige annotierte Daten verfügbar sind.

Spätere Varianten wie UNet++ und TransUNet ergänzten unterdessen Neuerungen wie Attention-Schichten und eine bessere Merkmalsextraktion. Die Attention-Schichten helfen dem Modell, sich auf wichtige Bereiche zu konzentrieren, während die verbesserte Merkmalsextraktion detailliertere Informationen erfasst.

Was ist U-Net, und wie fließen Merkmale durch das Modell?#

U-Net ist ein speziell für die Bildsegmentierung entwickeltes Deep-Learning-Modell. Es nimmt ein Bild als Eingabe und erzeugt eine Segmentierungsmaske, die jedes Pixel entsprechend dem Objekt oder Bereich klassifiziert, zu dem es gehört.

Der Name des Modells leitet sich von seiner U-förmigen Architektur ab. Sie besteht aus zwei Hauptteilen: einem Encoder, der das Bild komprimiert und seine Merkmale erlernt, und einem Decoder, der es wieder auf seine ursprüngliche Größe erweitert. Durch diesen Aufbau entsteht eine symmetrische U-Form, die dem Modell hilft, sowohl die Gesamtstruktur eines Bildes als auch seine feinen Details zu erfassen.

Ein wichtiges Merkmal von U-Net sind Skip-Verbindungen, über die Informationen direkt vom Encoder an den Decoder weitergegeben werden. So kann das Modell wichtige Details bewahren, die bei der Komprimierung des Bildes sonst verloren gehen könnten.

Überblick über die U-Net-Architektur#

Hier siehst du, wie die U-Net-Architektur funktioniert:

• Eingabebild: U-Net verarbeitet zunächst ein 2D-Bild, etwa eine medizinische Aufnahme oder ein Satellitenbild. Ziel ist es, jedem Pixel im Bild eine Klassenbezeichnung zuzuweisen.
• Herunterskalierung: Das Bild durchläuft Faltungsschichten, die wichtige visuelle Merkmale erlernen. Während es die verschiedenen Schichten durchläuft, nimmt seine Auflösung ab und das Modell erkennt übergeordnete Muster.
• Bottleneck-Schicht: In der Mitte des Netzwerks erreichen die Merkmalskarten ihre geringste räumliche Auflösung und erfassen zugleich semantische Merkmale auf hoher Ebene. Einfach gesagt, bildet diese komprimierte Darstellung der Merkmalskarten den Gesamtkontext der Eingabe.
• Hochskalierung: Anschließend rekonstruiert das Netzwerk das Bild, indem es die Auflösung schrittweise erhöht. Transponierte Faltungen erweitern die Merkmalskarten wieder in Richtung der ursprünglichen Größe.
• Skip-Verbindungen: Die Merkmalskarten aus dem Pfad zur Herunterskalierung werden mit denen aus dem Pfad zur Hochskalierung zusammengeführt. So bleiben feine räumliche Details erhalten, während Informationen zum übergeordneten Kontext integriert werden.
• Das Ergebnis ist eine Segmentierungskarte: Die endgültige Ausgabe ist eine Segmentierungsmaske auf Pixelebene, die dieselbe Größe wie die Eingabe hat. Jedes Pixel wird einer Kategorie wie Objekt, Hintergrund oder interessierendem Bereich zugeordnet.

Abb. 3. Diagramm der U-Net-Architektur. (Quelle)

Die Unterschiede zwischen ViT und U-Net verstehen#

Wenn du dich mit U-Net beschäftigst, fragst du dich vielleicht, worin sich das Modell von anderen Deep-Learning-Modellen wie dem Vision Transformer (ViT) unterscheidet, der ebenfalls Segmentierungsaufgaben ausführen kann. Beide Modelle können ähnliche Aufgaben übernehmen, unterscheiden sich aber in ihrem Aufbau und in der Art, wie sie Segmentierungen verarbeiten.

U-Net verarbeitet Bilder mithilfe von Faltungsschichten in einer Encoder-Decoder-Struktur auf Pixelebene. Das Modell wird häufig für Aufgaben eingesetzt, die eine präzise Segmentierung erfordern, etwa bei medizinischen Aufnahmen oder Szenen aus dem autonomen Fahren.

Der Vision Transformer (ViT) hingegen zerlegt Bilder in Ausschnitte und verarbeitet diese mithilfe von Attention-Mechanismen gleichzeitig. Das Modell nutzt Self-Attention – einen Mechanismus, mit dem es die Bedeutung verschiedener Bildbereiche zueinander gewichten kann –, um die Beziehungen zwischen den Bildbereichen zu erfassen. Damit unterscheidet es sich vom Faltungsansatz von U-Net.

Ein weiterer wichtiger Unterschied ist, dass ViT in der Regel mehr Daten benötigt, um gut zu funktionieren, dafür aber komplexe Muster sehr gut erkennt. U-Net hingegen erzielt mit kleineren Datensätzen gute Ergebnisse und lässt sich oft schneller trainieren.

Anwendungsbereiche des U-Net-Modells#

Nachdem wir nun besser verstehen, was U-Net ist und wie es funktioniert, sehen wir uns an, wie das Modell in verschiedenen Bereichen eingesetzt wurde.

Segmentierung von Hirnblutungen in der medizinischen Bildgebung#

U-Net entwickelte sich zu einer zuverlässigen Methode für die Segmentierung komplexer medizinischer Bilder auf Pixelebene, insbesondere während seiner Blütezeit in der Forschung. Forschende nutzten das Modell, um wichtige Bereiche in medizinischen Aufnahmen hervorzuheben, etwa Tumore und Anzeichen innerer Blutungen in CT- und MRT-Bildern. Dieser Ansatz verbesserte die Genauigkeit von Diagnosen erheblich und vereinfachte die Analyse komplexer medizinischer Daten in der Forschung.

Ein Beispiel für die Wirkung von U-Net in der Gesundheitsforschung ist der Einsatz zur Erkennung von Schlaganfällen und Hirnblutungen in medizinischen Aufnahmen. Forschende konnten U-Net zur Analyse von Kopfaufnahmen einsetzen und verdächtige Bereiche markieren. Dadurch ließen sich Fälle, die sofortige Aufmerksamkeit erforderten, schneller erkennen.

Abb. 4. Segmentierung hämorrhagischer Schlaganfallläsionen mit 3D U-Net. (Quelle)

Segmentierung von Nutzpflanzen in der Landwirtschaft#

Ein weiterer Bereich, in dem Forschende U-Net eingesetzt haben, ist die Landwirtschaft, insbesondere zur Segmentierung von Nutzpflanzen, Unkraut und Boden. Das Modell hilft Landwirtinnen und Landwirten, die Pflanzengesundheit zu überwachen, Erträge abzuschätzen und auf großen Anbauflächen bessere Entscheidungen zu treffen. U-Net kann beispielsweise Nutzpflanzen von Unkraut trennen, sodass sich Herbizide gezielter ausbringen und Verluste reduzieren lassen.

Um Herausforderungen wie Bewegungsunschärfe in Drohnenbildern zu bewältigen, haben Forschende U-Net mit Verfahren zur Bildunschärfereduktion verbessert. Das sorgt für klarere Segmentierungen, selbst wenn die Daten während der Bewegung aufgenommen werden, etwa bei Luftbildaufnahmen.

Abb. 5. Trennung von Nutzpflanzen und Unkraut auf landwirtschaftlichen Flächen mit U-Net. (Quelle)

Autonomes Fahren#

Bevor fortschrittlichere KI-Modelle eingeführt wurden, spielte U-Net eine wichtige Rolle bei der Erforschung, wie Segmentierung autonomes Fahren verbessern kann. In autonomen Fahrzeugen lässt sich U-Nets semantische Segmentierung verwenden, um jedes Pixel eines Bildes einer Kategorie wie Straße, Fahrzeug, Fußgänger oder Fahrbahnmarkierung zuzuordnen. So erhält das Fahrzeug einen klaren Überblick über seine Umgebung, was eine sichere Navigation und fundierte Entscheidungen unterstützt.

Abb. 6. Straßenszene, in der der befahrbare Bereich mit U-Net segmentiert wurde. (Quelle)

Vor- und Nachteile von U-Net#

Auch heute ist U-Net bei Forschenden aufgrund seiner ausgewogenen Kombination aus Einfachheit, Genauigkeit und Anpassungsfähigkeit eine gute Wahl für die Bildsegmentierung. Hier sind einige der wichtigsten Vorteile, die das Modell auszeichnen:

• Anpassbar an verschiedene Modalitäten: U-Net wurde für unterschiedliche Datentypen angepasst, darunter medizinische 3D-Aufnahmen, Satellitenbilder und sogar Videobilder.
• Schnelle Inferenz nach Optimierung: Bei geeigneter Abstimmung kann U-Net effizient ausgeführt werden und eignet sich dadurch für Anwendungen in Echtzeit oder nahezu in Echtzeit.
• Open Source und Community: U-Net ist in den wichtigsten Deep-Learning-Bibliotheken verfügbar und wird von einer großen Gemeinschaft aus Entwicklerinnen, Entwicklern und Forschenden unterstützt.

U-Net hat zwar viele Stärken, doch solltest du auch einige Einschränkungen berücksichtigen. Hier sind einige Punkte, die es zu beachten gilt:

• Empfindlich gegenüber der Datenqualität: Die Leistung von U-Net kann durch Daten geringer Qualität, etwa verrauschte Bilder oder Bilder mit niedriger Auflösung, beeinträchtigt werden.
• Bei kleinen Datensätzen anfällig für Überanpassung: U-Net funktioniert zwar gut mit begrenzten Daten, läuft aber dennoch Gefahr, sich zu stark an die Trainingsdaten anzupassen, wenn es nicht ausreichend regularisiert wird. Das gilt insbesondere, wenn der Datensatz zu klein oder nicht vielfältig genug ist.
• Rechenressourcen: U-Net kann sehr rechenintensiv sein, insbesondere bei der Verarbeitung großer Datensätze, und benötigt für das Training leistungsfähige Hardware.

Die wichtigsten Erkenntnisse#

U-Net war ein wichtiger Meilenstein in der Entwicklung der Bildsegmentierung. Das Modell zeigte, dass Deep-Learning-Modelle auch mit kleineren Datensätzen genaue Ergebnisse liefern können, insbesondere in Bereichen wie der medizinischen Bildgebung.

Dieser Durchbruch ebnete den Weg für fortschrittlichere Anwendungen in verschiedenen Bereichen. Während sich Computer Vision weiterentwickelt, bleiben Segmentierungsmodelle wie U-Net entscheidend dafür, dass Maschinen visuelle Daten präzise verstehen und interpretieren können.

Möchtest du eigene Computervisionsprojekte entwickeln? Sieh dir unser GitHub-Repository an, um tiefer in KI einzusteigen, und informiere dich über unsere Lizenzoptionen. Erfahre, wie Computervision im Gesundheitswesen die Effizienz steigert, und entdecke auf unseren Lösungsseiten die Auswirkungen von KI im Einzelhandel. Werde außerdem Teil unserer wachsenden Community.