Identity Mapping

In der Mathematik und der linearen Algebra ist eine Identitätsabbildung oder Einheitsmatrix eine Funktion, die exakt denselben Wert zurückgibt, der als Eingabe verwendet wurde. Im Kontext der künstlichen Intelligenz (AI) und des Deep Learning bezeichnet Identitätsabbildung eine spezielle Architekturtechnik, bei der Eingabedaten ohne nichtlineare Transformationen direkt an nachfolgende Schichten eines Faltungsneuronalen Netzes (CNN) weitergegeben werden. Dieses Konzept wurde durch die Einführung von Residualnetzwerken (ResNet) im Jahr 2015 stark verbreitet und revolutionierte den Aufbau und das Training von Modellen für maschinelles Sehen (CV).

Funktionsweise der Identitätsabbildung#

Tiefe neuronale Netze leiden häufig unter dem Problem des verschwindenden Gradienten. Während der Rückpropagierung werden die Fehlersignale, die zur Aktualisierung der Netzwerkgewichte verwendet werden, immer kleiner, je weiter sie sich rückwärts durch die Schichten bewegen. Dadurch können frühe Schichten nicht effektiv lernen. Die Identitätsabbildung löst dieses Problem durch das Einfügen von „Skip Connections“ oder „Shortcut Connections“.

Anstatt aufeinanderfolgende Schichten dazu zu zwingen, eine völlig neue, nicht referenzierte Abbildung zu lernen, werden sie so ausgelegt, dass sie eine Residualfunktion lernen. Mathematisch gesehen lernt die Schicht eine Transformation F(x), wenn x die Eingabe eines Blocks ist. Bei der Identitätsabbildung wird die ursprüngliche Eingabe x direkt zur Ausgabe dieser Transformation addiert, sodass sich die endgültige Ausgabe F(x) + x ergibt. Dadurch können Gradienten selbst in extrem tiefen Netzwerken ungehindert direkt durch den Modell-Backbone fließen. Renommierte KI-Forschungseinrichtungen wie Google DeepMind und OpenAI nutzen diese architektonischen Abkürzungen häufig, um das Training umfangreicher Foundation-Modelle zu stabilisieren.

Identitätsabbildung vs. Identitätserhalt#

Es ist wichtig, die Identitätsabbildung vom ähnlich benannten Identitätserhalt zu unterscheiden.

Während die Identitätsabbildung ein strukturelles Codierungsmerkmal eines neuronalen Netzes ist, das den Trainingsablauf beim maschinellen Lernen (ML) optimieren soll, ist der Identitätserhalt eine eigenständige Computer-Vision-Aufgabe. Beim Identitätserhalt geht es darum, die visuelle Konsistenz einer bestimmten Person oder eines Objekts über verschiedene Videobilder hinweg bei der Objektverfolgung oder über generierte Bilder in Workflows der generativen KI hinweg zu wahren.

Anwendungen in der Praxis#

Die Identitätsabbildung bildet die Grundlage zahlreicher hochpräziser Modelle, die heute in der Produktion eingesetzt werden:

• Fortgeschrittene Objekterkennung: Moderne Echtzeitarchitekturen, darunter das neueste Ultralytics YOLO26, verwenden fortgeschrittene Residualblöcke mit Identitätsabbildungen in ihren Merkmalsextraktionsschichten. Dadurch können sie in komplexen Umgebungen wie dem autonomen Fahren schnell und präzise Objekte erkennen, ohne dass die Leistung mit zunehmender Netzwerktiefe abnimmt.
• Bildklassifizierungsmodelle: Hochmoderne Bildverarbeitungsarchitekturen, die in wissenschaftlichen Repositorien wie arXiv und der digitalen Bibliothek IEEE Xplore ausführlich dokumentiert sind, nutzen Identitätsabbildungen, um Modelle mit Hunderten von Schichten erfolgreich zu trainieren. Übergeordnete Frameworks wie TensorFlow verwenden diese Abkürzungen, um aus umfangreichen Datensätzen hochkomplexe hierarchische Merkmale zu extrahieren.

Implementierung der Identitätsabbildung in PyTorch#

Beim Erstellen eigener neuronaler Netze bieten Deep-Learning-Frameworks wie PyTorch native Werkzeuge, mit denen sich diese Abkürzungen mühelos implementieren lassen. Du kannst explizit das Modul PyTorch nn.Identity verwenden oder in der Forward-Methode deines nn.Module einfach eine mathematische Addition ausführen.

Der folgende Codeausschnitt zeigt einen einfachen Residualblock mit einer Identitätsabbildung. Entwickler, die die cloudbasierte Ultralytics Platform zur Verwaltung von Datensätzen und zum Trainieren von Modellen nutzen, profitieren automatisch im Hintergrund von diesen hochoptimierten Architekturstrukturen.

import torch.nn as nn


class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        # Eine einfache Faltungsschicht zur Merkmalsextraktion
        self.conv = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        # Explizites Modul für die Identitätsabbildung
        self.identity = nn.Identity()

    def forward(self, x):
        # Die Blockausgabe ist die Summe der gelernten Merkmale und der Identitätsabbildung
        return self.conv(x) + self.identity(x)