Image Recognition

Bilderkennung ist der Oberbegriff für Software, die Inhalte eines Bildes identifiziert: Objekte, Personen, Orte, Text oder Handlungen. Im alltäglichen Gebrauch ist sie ein Synonym für Bildklassifizierung, bei der einem ganzen Bild eine Bezeichnung wie „Golden Retriever“ oder „Lungenentzündung“ zugewiesen wird. In der Forschung umfasst „visuelle Erkennung“ die größere Gruppe von Aufgaben zur Identifizierung von Bildinhalten, wie bei der ImageNet Large Scale Visual Recognition Challenge, die von 2010 bis 2017 lief und Wettbewerbe in Klassifizierung, Lokalisierung und Objekterkennung umfasste.

So funktioniert Bilderkennung#

Ein Erkennungsmodell wandelt Pixel in eine kompakte Beschreibung um und vergleicht diese dann mit seinem Wissen. Ein Backbone, entweder ein konvolutionales neuronales Netz (CNN) oder ein Vision Transformer (ViT), extrahiert Merkmale Schicht für Schicht: von Kanten und Texturen in den frühen Schichten bis hin zu Objektteilen und ganzen Objekten in tieferen Schichten. Die Merkmale werden zu einem Merkmalsvektor oder Embedding zusammengefasst. Was danach geschieht, hängt davon ab, wie die Menge möglicher Antworten definiert ist:

Ein Klassifizierungskopf, der anhand beschrifteter Bilder durch überwachtes Lernen trainiert wurde, etwa der 1,28 Millionen Trainingsbilder der 1.000 Klassen von ImageNet, wählt die wahrscheinlichste seiner festgelegten Klassen aus. Bei der Gesichts- und Produkterkennung wird das Embedding mit einer Galerie gespeicherter Beispiele verglichen, sodass neue Personen oder Produkte ohne erneutes Training hinzugefügt werden können. Zero-Shot-Modelle wie CLIP von OpenAI betten Bilder und Text in denselben Raum ein und erkennen jede Kategorie, die sich als Textaufforderung formulieren lässt.

Vor dem Deep Learning übergaben Erkennungssysteme von Menschen entworfene Merkmale wie SIFT-Schlüsselpunkte und Histogramme gerichteter Gradienten an Klassifikatoren wie Support Vector Machines. 2012 senkte AlexNet die Top-5-Fehlerrate bei ImageNet von 26,2 % beim zweitplatzierten Modell auf 15,3 %, und seither dominieren erlernte Merkmale.

Arten der Bilderkennung#

• Bildklassifizierung: Eine Bezeichnung für das ganze Bild oder mehrere Bezeichnungen bei der Mehrfachbezeichnungsklassifizierung.
• Objekterkennung: Eine Bezeichnung und eine Begrenzungsbox für jedes Objekt, sodass ein Foto mit drei Hunden drei Ergebnisse liefert.
• Gesichtserkennung: Identifiziert oder verifiziert eine bestimmte Person, indem ein Gesichts-Embedding mit registrierten Gesichtern verglichen wird.
• Optische Zeichenerkennung (OCR): Liest gedruckten oder handschriftlichen Text in einem Bild als maschinenlesbare Zeichen aus.
• Handlungserkennung: Erkennt, was Personen über die Einzelbilder eines Videos hinweg tun.

YOLO26 unterstützt die ersten beiden Arten: Die -cls-Modelle weisen einem ganzen Bild eine der 1.000 ImageNet-Klassen zu, und die Erkennungsmodelle benennen jedes Objekt und lokalisieren es. Dieses Beispiel führt beide Modelle auf demselben Foto aus:

from ultralytics import YOLO

image = "https://ultralytics.com/images/bus.jpg"

# Erkennung auf Bildebene: eine Bezeichnung für das gesamte Bild
classifier = YOLO("yolo26n-cls.pt")
results = classifier(image)
result = results[0]
print("Image label:", result.names[result.probs.top1])

# Erkennung auf Objektebene: eine Bezeichnung für jedes gefundene Objekt
detector = YOLO("yolo26n.pt")
results = detector(image)
result = results[0]
print("Objects:", [result.names[int(c)] for c in result.boxes.cls])

Der Klassifikator gibt eine einzelne ImageNet-Bezeichnung für das gesamte Foto aus, und der Detektor gibt für jedes gefundene Objekt eine COCO-Bezeichnung aus.

Anwendungen in der Praxis#

• Medizinische Bildanalyse: Modelle ordnen Röntgenbilder des Brustkorbs, Hautaufnahmen und Netzhautscans den Kategorien normal und auffällig zu, damit medizinisches Fachpersonal dringende Fälle zuerst prüft.
• Einzelhandel: Die Produkterkennung gleicht Artikel in Regalen oder an der Kasse mit einem Katalog von Produktbildern ab, einschließlich Produkten, die nach dem Modelltraining hinzugefügt wurden.
• Fertigung: Kameras an der Produktionslinie erkennen vor dem Verpacken fehlerhafte Teile sowie falsche oder fehlende Komponenten.
• Barrierefreiheit: Bildschirmleseprogramme und Handy-Apps beschreiben Fotos und lesen Schilder für blinde und sehbehinderte Menschen laut vor.

Erkennung über feste Bezeichnungen hinaus#

Klassifikatoren mit festen Bezeichnungen erkennen nur die Klassen, auf die sie trainiert wurden. Für das Hinzufügen einer Klasse müssen beschriftete Bilder gesammelt und das Modell erneut trainiert werden. Modelle, die mit Bild-Text-Paaren trainiert wurden, heben diese Einschränkung auf, und Vision-Language-Modelle erweitern diese Fähigkeit auf Szenenbeschreibungen und Antworten auf Fragen dazu. CLIP wurde mit 400 Millionen Bild-Text-Paaren aus dem Internet trainiert und erreichte ohne eines der 1,28 Millionen beschrifteten Bilder, auf denen ResNet-50 trainiert wurde, im Zero-Shot-Verfahren die ImageNet-Genauigkeit des ursprünglichen ResNet-50.