Verstehen, warum Annotationen durch Menschen entscheidend sind

Vor zwanzig Jahren hätte es noch sehr weit hergeholt geklungen, wenn jemand gesagt hätte, er erwäge die Anschaffung eines Roboters, der im Haushalt helfen soll. Wir befinden uns jedoch mitten im KI-Boom, und Roboter werden in ähnlichen Szenarien getestet.

Ein Schlüsselbereich der KI, der diesen Fortschritt vorantreibt, ist die Bildverarbeitung, die Maschinen die Fähigkeit verleiht, Bilder und Videos zu verstehen. Mit anderen Worten: Bildverarbeitungsmodelle wie Ultralytics YOLO11 und das in Kürze erscheinende Ultralytics können anhand von Datensätzen trainiert werden, die aus visuellen Daten und Annotationen bestehen. 

Diese Anmerkungen helfen dem Modell, die visuellen Daten zu verstehen. Beispielsweise verwenden Datensätze zur Objekterkennung Begrenzungsrahmen, um Rechtecke um Objekte von Interesse zu zeichnen. Dadurch kann das Modell diese Objekte in neuen Bildern detect lokalisieren, selbst wenn die Szene unübersichtlich ist oder das Objekt teilweise verdeckt ist.

Andere Computer-Vision-Aufgaben basieren auf verschiedenen Arten von Annotationen. Segmentierungsdatensätze kennzeichnen die genauen Umrisse eines Objekts auf Pixelebene, während Keypoint-Datensätze bestimmte Orientierungspunkte wie Gelenke einer Person markieren. 

Bei all diesen Formaten ist jedoch ein entscheidender Faktor die Qualität und Konsistenz der Labels. Modelle lernen direkt aus den Daten, mit denen sie trainiert werden. Wenn die Labels also inkonsistent oder falsch sind, überträgt das Modell diese Fehler häufig in seine Vorhersagen. 

Selbst bei Automatisierung sind von Menschen annotierte Datensätze nach wie vor von entscheidender Bedeutung, insbesondere in Bereichen mit hohem Risiko wie der medizinischen Bildgebung. Kleine Fehler bei der Kennzeichnung, wie eine ungenaue Tumorgrenze oder eine übersehene Anomalie, können dem Modell falsche Muster vermitteln und später zu unsicheren Vorhersagen führen. Menschliche Experten liefern die genauen Grunddaten und Urteile, die diese Anwendungen erfordern.

‍

In diesem Artikel werden wir uns genauer ansehen, warum von Menschen annotierte Daten auch bei fortschreitender KI-Entwicklung unverzichtbar sind.

Die Notwendigkeit von Bild- und Videoanmerkungen

Computer-Vision-Modelle lernen ähnlich wie wir, indem sie viele Beispiele sehen. Der Unterschied besteht darin, dass sie durch Training mit großen Datensätzen von Bildern und Videos lernen, die zuvor von Menschen mit Labels versehen wurden. Diese Labels dienen als Grundwahrheit und lehren das Modell beispielsweise, dass es sich hier um einen Fußgänger handelt, dass dies die Grenze eines Tumors ist oder dass dieses Objekt ein Auto ist.

Realistische Bilder sind selten klar und einheitlich. Die Beleuchtung kann sich ändern und dasselbe Objekt unterschiedlich aussehen lassen. Personen und Fahrzeuge können sich überlappen oder teilweise verdeckt sein. Hintergründe können unübersichtlich sein und ablenken. Wenn Datensätze sorgfältige, einheitliche Beschriftungen für all diese Situationen enthalten, sind Modelle viel besser auf Situationen außerhalb kontrollierter Umgebungen vorbereitet.

Datenannotation ist mehr als nur das Zeichnen von Kästchen oder das Nachzeichnen von Umrissen. Dazu gehört auch, Richtlinien anzuwenden und praktische Entscheidungen darüber zu treffen, was als Objekt gilt, wo dessen Grenzen liegen sollten und was zu tun ist, wenn etwas unklar ist. Dieses menschliche Urteilsvermögen sorgt dafür, dass die Daten genau und nutzbar bleiben.

Letztendlich ist die Leistungsfähigkeit eines Computer-Vision-Systems nur so gut wie die gekennzeichneten Daten, aus denen es lernt. Bei Anwendungen mit hoher Tragweite, wie der Erkennung von Krebs in Scans oder der Erkennung von Gefahren im Straßenverkehr für selbstfahrende Autos, machen präzise Kennzeichnungen durch qualifizierte Fachkräfte einen echten Unterschied in Bezug auf Genauigkeit und Sicherheit.

Der Aufstieg der Automatisierung in der Datenannotation

Mit zunehmender Verbreitung von Computer Vision und wachsenden Datensätzen wird die Automatisierung zu einer gängigen Methode, um die Annotation zu beschleunigen. Anstatt alles von Hand zu kennzeichnen, verwenden Teams KI-Modelle, um einen ersten Durchgang von Kennzeichnungen zu erstellen. 

Anschließend überprüfen Menschen die Ergebnisse, korrigieren Fehler und bearbeiten Fälle, die das Modell nicht zuverlässig kennzeichnen kann. Dieser Ansatz beschleunigt die Annotation und gewährleistet gleichzeitig eine hohe Qualität.

Hier sind einige Beispiele, wie Automatisierung typischerweise bei der Datenannotation hilft:

• Automatische Segmentierung: Modelle können automatisch Objektkonturen oder Masken auf Pixelebene vorschlagen, wodurch sich der manuelle Nachzeichnungsaufwand für Annotatoren reduziert.
• Optische Flussverfolgung: Bei Videos können Verfolgungsmethoden ein sich bewegendes Objekt über mehrere Bilder hinweg verfolgen und seine Kennzeichnung weiterführen, wodurch die Konsistenz der Anmerkungen über einen längeren Zeitraum gewährleistet wird.
• Frame-Interpolation: Tools können Labels für die Frames zwischen zwei gelabelten Frames anhand von Bewegungs- und Tracking-Hinweisen ausfüllen, sodass Annotatoren nicht jeden einzelnen Frame labeln müssen.
• Aktives Lernen: Trainingspipelines können Beispiele identifizieren, die das Modell als unsicher oder ungewöhnlich einstuft, und diese zunächst an Menschen weiterleiten, sodass manuelle Arbeit auf die Daten konzentriert wird, die die Leistung am meisten verbessern.

Warum die manuelle Datenannotation nach wie vor so wichtig ist

Automatisierung kann zwar die Beschriftung beschleunigen, doch KI-Modelle benötigen nach wie vor menschliches Urteilsvermögen, um genau und zuverlässig zu bleiben.

Hier sind einige wichtige Bereiche, in denen menschliches Fachwissen bei der Datenannotation eine wichtige Rolle spielt:

• Den Kontext verstehen: Reale Bilder und Videos sind oft unübersichtlich. Schatten, Reflexionen, Bewegungsunschärfe und sich überlappende Objekte können automatisierte Tools verwirren. Menschliche Annotatoren können interpretieren, was tatsächlich geschieht, sodass die Beschriftungen genauer sind.
  
• Konsistenz der Labels gewährleisten: Mit zunehmender Größe der Datensätze können automatisierte Labels abweichen oder zwischen verschiedenen Batches variieren. Menschen können Labels überprüfen, korrigieren und angleichen, damit der Datensatz von Anfang bis Ende konsistent bleibt.
  
• Verringerung von Voreingenommenheit und Schaden: Menschen sind besser darin, sensible Inhalte, kulturelle Nuancen und Muster zu erkennen, die zu Voreingenommenheit führen könnten. Ihre Aufsicht trägt dazu bei, Datensätze fairer zu gestalten und unbeabsichtigten Schaden zu vermeiden.
  
• Anwendung von Fachwissen: Einige Aufgaben erfordern Fachwissen, beispielsweise die Erkennung medizinischer Anomalien oder industrieller Mängel. Experten können präzise Beschriftungen vornehmen und mehrdeutige Fälle klären, sodass das Modell die richtigen Details lernt.

Ein Überblick über Human-in-the-Loop-Annotation

Annotationstools und -plattformen wie Roboflow Automatisierung, um die Beschriftung zu beschleunigen, häufig unter Verwendung von Basismodellen wie Segment Anything Model 3 oder SAM3. SAM3 ist das promptfähige Segmentierungs-Basismodell von Meta AI. 

Es kann track in Bildern und Videos anhand einfacher Eingaben wie Klicks, Begrenzungsrahmen oder kurzen Textphrasen detect, segment und track und dabei Segmentierungsmasken für übereinstimmende Objekte erstellen, ohne dass für jede neue Kategorie ein aufgabenspezifisches Training erforderlich ist.

Selbst mit diesen hochmodernen Ansätzen sind nach wie vor menschliche Experten erforderlich, um die Annotationen zu überprüfen und fertigzustellen. Wenn automatisierte Tools einen ersten Entwurf erstellen und Menschen diesen überprüfen, korrigieren und verfeinern, wird dieser Arbeitsablauf als „Human-in-the-Loop-Annotation” bezeichnet. Dadurch bleibt die Annotation schnell, während gleichzeitig sichergestellt wird, dass die endgültigen Labels genau und konsistent genug sind, um zuverlässige Modelle zu trainieren.

‍

‍

Wann funktioniert die Automatisierung für Annotationen und wann nicht?

Die automatisierte Annotation eignet sich am besten für Daten, die aus kontrollierten Umgebungen stammen. Bilder, die in Fabriken, Lagerhäusern oder Verkaufsräumen aufgenommen werden, weisen in der Regel eine gleichmäßige Beleuchtung und eine klare Sicht auf die Objekte auf, sodass automatisierte Tools sie genau kennzeichnen können und Teams mit weniger manuellem Aufwand schneller skalieren können.

Daten aus weniger kontrollierten Umgebungen sind komplexer. Außenaufnahmen ändern sich je nach Tageszeit und Wetter, und Szenen von Straßen oder Häusern enthalten oft Unordnung, Bewegungsunschärfe, sich gegenseitig verdeckende Objekte und viele Überlappungen. Kleine Objekte, feine Grenzen oder seltene Situationen erhöhen das Fehlerpotenzial zusätzlich. Ein Modell, das mit sauberen Innenraumdaten gut funktioniert, kann dennoch Schwierigkeiten mit unübersichtlichen Bildern aus der realen Welt haben.

Deshalb ist der menschliche Beitrag nach wie vor wichtig. Menschen können eingreifen, wenn das Modell unsicher ist, schwierige Kontexte interpretieren und Fehler beheben, bevor diese in den endgültigen Datensatz gelangen. Durch Annotationen mit menschlicher Beteiligung bleibt die Automatisierung in der realen Welt verankert und die Modelle bleiben auch nach ihrer Bereitstellung zuverlässig.

Wo kann die Annotation durch Menschen einen Unterschied machen?

Nachdem wir nun gesehen haben, wo Automatisierung gut funktioniert und wo sie an ihre Grenzen stößt, wollen wir uns einige Anwendungen ansehen, bei denen die Annotation durch Menschen eine wichtige Rolle spielt.

Fehlererkennung in der Fertigung

Stellen Sie sich ein Förderband in einer Fabrik vor, auf dem jede Minute Hunderte von Teilen unter einer Kamera vorbeilaufen. Die meisten Mängel sind offensichtlich, aber hin und wieder tritt ein Haarriss in einem ungewöhnlichen Winkel oder unter einer starken Lichtquelle auf. Ein automatisiertes System könnte diesen übersehen oder als harmlose Oberflächenstruktur einstufen, aber ein menschlicher Prüfer kann den Fehler erkennen, die Anmerkung korrigieren und sicherstellen, dass das Modell den Unterschied lernt.

Das ist die Aufgabe der Human-in-the-Loop-Annotation in der industriellen Inspektion. Die Automatisierung kann gängige Fehlertypen vorab kennzeichnen und große Bildmengen schnell durchlaufen, aber Menschen müssen die Ergebnisse weiterhin überprüfen, Grenzen verschärfen und seltene Fehler behandeln, die im Training nicht oft auftreten. 

Autonome Fahrzeuge und intelligenter Verkehr

Ebenso nutzen autonome Fahrzeuge Computer Vision, um Fußgänger zu erkennen, Schilder zu lesen und sich im Verkehr zu orientieren, aber reale Straßen sind unvorhersehbar. Beispielsweise kann ein Fußgänger, der nachts hinter einem geparkten Auto hervortritt, teilweise verdeckt und unter Blendung schwer zu erkennen sein.

‍

‍

Menschliche Annotatoren können diese seltenen, sicherheitskritischen Randfälle während des Trainings kennzeichnen, damit die Modelle die richtige Reaktion lernen, nicht nur unter normalen Bedingungen, sondern auch in den Momenten, in denen es darauf ankommt. Dieser Schritt, bei dem der Mensch in den Prozess eingebunden ist, ist entscheidend, um Systemen beizubringen, mit seltenen Ereignissen umzugehen, die mit Automatisierung allein nur schwer zu erfassen sind.

Der Weg in die Zukunft für von Menschen annotierte Datensätze

Mit dem technologischen Fortschritt wird die Annotation durch Menschen immer kollaborativer. Interessanterweise werden nun visuelle Sprachmodelle (VLMs), die sowohl aus Bildern als auch aus Text lernen, eingesetzt, um einen ersten Entwurf von Labels zu erstellen und anhand einfacher Eingabeaufforderungen Korrekturen vorzuschlagen. 

Anstatt also jedes Bild manuell zu scannen, um zu entscheiden, was gekennzeichnet werden soll, kann ein Annotator ein VLM mit einem Satz wie „Alle Fußgänger, Autos und Ampeln kennzeichnen“ odersegment Fehler an diesem Teilsegment “ anweisen und erhält einen Entwurf mit Anmerkungen zur Überprüfung.

‍

‍

Dies reduziert die Annotationszeit, da das Modell viele einfache Fälle im Voraus bearbeiten kann, sodass sich die Menschen auf die Überprüfung der Ergebnisse, die Korrektur schwieriger Beispiele und die Gewährleistung der Konsistenz des Datensatzes konzentrieren können. Große multimodale Modelle beginnen auch damit, Annotatoren zu den unsichersten Beispielen zu führen, wodurch die menschliche Arbeit zielgerichteter wird und die Gesamtqualität des Datensatzes verbessert wird.

Wesentliche Erkenntnisse

Computer Vision hilft Maschinen dabei, das, was sie sehen, zu interpretieren und darauf zu reagieren, funktioniert jedoch am besten, wenn menschliches Fachwissen einbezogen wird. Durch Menschen annotierte Daten sorgen dafür, dass Modelle realitätsnah bleiben und verbessern ihre Zuverlässigkeit. Durch die Kombination von Automatisierung und menschlichem Urteilsvermögen können Teams leistungsstarke Bildverarbeitungssysteme entwickeln.

Werden Sie Teil unserer aktiven Community und entdecken Sie Innovationen wie KI in der Logistik und Vision-KI in der Robotik. Besuchen Sie unser GitHub-Repository, um mehr zu erfahren. Wenn Sie noch heute mit Computer Vision beginnen möchten, sehen Sie sich unsere Lizenzoptionen an.