Beurteilerübereinstimmung: Definition, Beispiele und Berechnungen

Wenn du ein KI-Modell entwickelst, ist die Qualität deiner Daten genauso wichtig wie die dahinterstehenden Algorithmen. Wann immer mehrere Personen dieselben Daten beschriften oder überprüfen, sind Meinungsverschiedenheiten unvermeidlich. Das gilt für viele Bereiche, darunter Forschung, Gesundheitswesen und Bildung.

Insbesondere im Bereich der Computer Vision, einem Teilgebiet der KI, bei dem Modelle wie Ultralytics YOLO11 trainiert werden, visuelle Daten wie Bilder oder Videos zu interpretieren, spielen beschriftete Beispiele eine entscheidende Rolle. Sind diese Beschriftungen inkonsistent, können Computer-Vision-Modelle Schwierigkeiten haben, die richtigen Muster zu erlernen.

Die Interrater-Reliabilität (IRR) misst, wie einheitlich verschiedene Personen oder Beschrifter bei einer Aufgabe übereinstimmen. Sie hilft dabei, die Konsistenz zu überwachen und Lücken bei Schulungen, Richtlinien oder der Interpretation zu erkennen. Das ist besonders beim Training kundenspezifischer Modelle wichtig, bei dem KI-Modelle mithilfe spezifischer Daten für einen bestimmten Zweck entwickelt werden.

In diesem Artikel sehen wir uns an, was Interrater-Reliabilität ist, wie du sie messen und in realen Projekten verbessern kannst. Legen wir los!

Was ist Interrater-Reliabilität?#

Die Interrater-Reliabilität misst, wie häufig zwei oder mehr Personen, auch Rater genannt, bei der Beschriftung, Bewertung oder Überprüfung derselben Inhalte übereinstimmen. Sie wird verwendet, um zu prüfen, wie einheitlich verschiedene Rater vorgegebene Kriterien anwenden. Eine hohe Übereinstimmung zwischen den Ratern bedeutet, dass eine Aufgabe gut definiert und eindeutig verständlich ist.

Dieses Konzept wird in verschiedenen Bereichen verwendet. Je nach Fachgebiet ist es unter unterschiedlichen Bezeichnungen bekannt, etwa als Übereinstimmung zwischen Ratern, Interobserver-Reliabilität oder Intercoder-Reliabilität. Das zugrunde liegende Prinzip bleibt jedoch dasselbe.

In der visuellen KI ist die Interrater-Reliabilität ein wichtiger Bestandteil des Datenbeschriftungsprozesses. Für das Training von Computer-Vision-Modellen müssen häufig riesige Datensätze mit Bildern oder Videoframes beschriftet werden, sodass mehrere KI-Entwickler gemeinsam an denselben Daten arbeiten.

Um genaue Ergebnisse zu erhalten, müssen sie dieselben Richtlinien für die Beschriftung befolgen. Beim Beschriften von Tieren muss beispielsweise eindeutig festgelegt sein, was als Hund gilt, wie der Begrenzungsrahmen darum gezogen wird und ob unscharfe Objekte beschriftet oder ignoriert werden.

Abb. 1: Interrater-Reliabilität verstehen (Bild des Autors)

Interrater-, Intrarater- und Test-Retest-Reliabilität#

Wenn Personen an der Beschriftung oder Bewertung von Daten beteiligt sind, gibt es drei wesentliche Arten von Reliabilität, die berücksichtigt werden sollten. Jede dient einem anderen Zweck bei der Messung der Konsistenz von Ergebnissen. Hier ist ein genauerer Blick auf die einzelnen Arten:

• Interrater-Reliabilität: Die Interrater-Reliabilität untersucht, wie groß die Übereinstimmung zwischen verschiedenen Personen ist, die dieselbe Aufgabe ausführen. Das ist besonders nützlich, wenn mehrere Annotatoren an Projekten wie der Bildbeschriftung, der Sentimentanalyse oder medizinischen Untersuchungen beteiligt sind.

• Intrarater-Reliabilität: Hier liegt der Fokus auf einer einzelnen Person. Die Intrarater-Reliabilität prüft, ob der Rater bei der Wiederholung derselben Aufgabe zu unterschiedlichen Zeitpunkten konsistent bleibt. Wenn sich die Beschriftungen zu stark verändern, kann dies an unklaren Richtlinien oder einem mangelnden Verständnis der Aufgabe liegen.

• Test-Retest-Reliabilität: Die Test-Retest-Reliabilität konzentriert sich nicht auf den Annotator, sondern auf das verwendete Werkzeug oder Verfahren. Sie misst, ob bei einer Wiederholung des Tests unter ähnlichen Bedingungen dasselbe Ergebnis erzielt wird. Bleibt die Ausgabe konsistent, gilt das Verfahren als zuverlässig.

Zusammen helfen diese Messgrößen zu bestätigen, dass sowohl Personen als auch Prozesse beständige und verlässliche Ergebnisse liefern.

Abb. 2: Überblick über Interrater-, Intrarater- und Test-Retest-Reliabilität (Bild des Autors)

Warum ist Interrater-Reliabilität wichtig?#

Bei groß angelegten Projekten im Bereich der visuellen KI wirkt sich die Qualität der beschrifteten Daten direkt darauf aus, wie gut ein Modell funktioniert. Selbst kleine Unterschiede bei der Anwendung von Richtlinien durch Annotatoren können Inkonsistenzen verursachen, die das Modell während des Trainings verwirren. Mit der Zeit kann dies zu ungenauen Vorhersagen, verschwendeten Ressourcen und einer kostspieligen erneuten Beschriftung führen.

Durch die Messung der Interrater-Reliabilität lassen sich diese Probleme frühzeitig erkennen. Eine hohe Übereinstimmung bedeutet, dass die Annotatoren aufeinander abgestimmt sind und sauberere, zuverlässigere Datensätze erstellen. Eine geringe Übereinstimmung weist darauf hin, dass Anweisungen, Beispiele oder Schulungen vor der Fortsetzung des Projekts überarbeitet werden müssen. Wenn Beschrifter synchron arbeiten, können Teams KI-Modelle entwickeln, die effektiver lernen und in realen Anwendungen bessere Ergebnisse liefern.

Praktische Überlegungen zur Interrater-Reliabilität#

Hier sind einige wichtige praktische Aspekte, die du bei der Arbeit mit mehreren Ratern und dem Ziel einer hohen Interrater-Reliabilität berücksichtigen solltest:

• Mehrdeutige oder subjektive Aufgaben: Wenn die Beschriftung eine Interpretation erfordert, etwa bei der Entscheidung, ob ein unscharfes Objekt ein Fußgänger ist, oder bei der Bewertung der Bildqualität, helfen mehrere Rater dabei, konsistente Entscheidungen sicherzustellen und den Einfluss individueller Vorurteile zu begrenzen.
• Einfache, objektive Aufgaben: Für unkomplizierte Aufgaben wie das Zählen der Autos in einem Bild oder die Bestätigung, ob ein Objekt vorhanden ist, reicht häufig ein gut geschulter Rater aus, da die Übereinstimmung in der Regel hoch ist, sobald der Prozess eindeutig definiert wurde.
• Klare Richtlinien für die Beschriftung: Detaillierte, leicht verständliche Anweisungen verringern Unsicherheiten bei der Anwendung von Beschriftungen und verbessern dadurch die Übereinstimmung zwischen den Ratern. Die Richtlinien sollten Sonderfälle ausdrücklich abdecken, um inkonsistente Interpretationen zu verhindern.
• Regelmäßige Schulungen und Kalibrierung: Selbst erfahrene Rater können ihre Einschätzungen im Laufe der Zeit verändern. Regelmäßige Schulungen und Kalibrierungsprüfungen helfen, die Konsistenz zu bewahren und Verzerrungen durch die Versuchsleitung zu minimieren.

Messgrößen der Interrater-Reliabilität#

Es gibt mehrere Möglichkeiten, die Interrater-Reliabilität zu messen. Welche am besten geeignet ist, hängt von der Art der Daten und der Aufgabe ab. Einige Verfahren eignen sich gut für einzelne Rater, die einfache Ja-Nein-Fragen bearbeiten, während andere für Situationen mit mehreren Ratern entwickelt wurden.

Zu den gängigen Ansätzen gehören die prozentuale Übereinstimmung, Cohens Kappa, Fleiss’ Kappa und der Intraklassenkorrelationskoeffizient. Jede Methode misst den Grad der Übereinstimmung zwischen Ratern und berücksichtigt die Möglichkeit, dass ein Teil der Übereinstimmung zufällig zustande kommt.

Cohens Kappa und Fleiss’ Kappa#

Cohens Kappa ist eine weit verbreitete Methode zur Messung der Interrater-Reliabilität zwischen zwei Ratern. Es berechnet, wie häufig sie bei einer Aufgabe übereinstimmen, und berücksichtigt dabei die Möglichkeit, dass ein Teil der Übereinstimmung zufällig zustande kommt. Die Werte reichen von -1 bis 1, wobei 1 eine vollkommene Übereinstimmung und 0 bedeutet, dass die Übereinstimmung nicht besser ist als zufälliges Raten.

Fleiss’ Kappa wird dagegen verwendet, wenn mehr als zwei Rater beteiligt sind. Es liefert einen Gesamtwert, der zeigt, wie konsistent die Gruppe ist. Beide Methoden werden für Aufgaben mit festgelegten Kategorien eingesetzt, etwa zum Beschriften von Bildern oder zur Kennzeichnung von Emotionen. Sie lassen sich einfach berechnen und werden von den meisten Annotationstools unterstützt.

Prozentuale Übereinstimmung und Intraklassenkorrelationskoeffizient (ICC)#

Eine weitere Möglichkeit zur Messung der Interrater-Reliabilität ist die prozentuale Übereinstimmung. Dabei wird berechnet, wie oft die Rater dieselbe Entscheidung treffen. Diese Methode ist zwar einfach anzuwenden, berücksichtigt jedoch keine Übereinstimmungen, die zufällig zustande kommen könnten.

Der Intraklassenkorrelationskoeffizient ist hingegen eine fortgeschrittenere Methode für kontinuierliche oder skalenbasierte Daten. Er misst, wie konsistent Bewertungen über mehrere Rater hinweg sind, und wird häufig in Forschungsarbeiten eingesetzt, die sich mit Punktwerten, Messungen oder anderen Datentypen außerhalb fester Kategorien befassen.

Beispiele und Anwendungen der Interrater-Reliabilität#

Nachdem wir nun besser verstehen, wie sich die Interrater-Reliabilität messen lässt, sehen wir uns an, wie diese Methoden in realen Anwendungen eingesetzt werden können.

Interrater-Reliabilität bei der Annotation medizinischer Bilder#

Bei der medizinischen Bildgebung können selbst geringfügige Unterschiede in der Interpretation zu erheblichen Veränderungen der Ergebnisse führen. Radiologen werden beispielsweise häufig gebeten, subtile, mehrdeutige oder schwer zu definierende Muster zu erkennen. Wenn diese Muster zu Trainingsdaten für KI-Systeme werden, steht mehr auf dem Spiel. Beschriften Experten denselben Scan unterschiedlich, lernt das Modell möglicherweise die falschen Muster oder überhaupt keine.

Die Interrater-Reliabilität hilft Teams, die mit solchen Daten arbeiten, zu bewerten, wie konsistent die Einschätzungen von Experten tatsächlich sind. In einer kürzlich durchgeführten Studie zu retinalen OCT-Scans beschrifteten beispielsweise zwei Rater 500 Bilder.

Bei eindeutigen Merkmalen wie Drusen (gelben Ablagerungen unter der Netzhaut) war die Übereinstimmung mit einem Kappa-Wert von 0,87 hoch. Bei schwieriger zu definierenden Elementen wie hyperreflektiven Foki (kleinen, hellen Punkten in Netzhautscans) sank der Wert jedoch auf 0,33. Dies zeigt, dass klarere und genauer definierte Merkmale tendenziell zu konsistenteren Einschätzungen durch Experten führen, während mehrdeutige Merkmale größeren Interpretationsspielraum lassen.

Abb. 3: Beispiele für Beschriftungen verschiedener Merkmale im Zusammenhang mit Netzhauterkrankungen (Quelle)

Datensätze für autonome Fahrzeuge und Interrater-Reliabilität#

Das Training von KI-Modellen für ein System zum autonomen Fahren hängt von genauen und konsistenten Beschriftungen unter unterschiedlichsten Straßenbedingungen ab. Annotatoren solcher Projekte sollen typischerweise Fußgänger, Fahrzeuge, Verkehrsschilder und Fahrbahnmarkierungen erkennen, häufig bei schlechten Lichtverhältnissen oder in dicht befahrenen Szenen.

Diese Entscheidungen prägen, wie das Modell lernt, auf schwierige Bedingungen in der realen Welt zu reagieren. Die Interrater-Reliabilität ermöglicht es Teams zu prüfen, ob diese Beschriftungen von allen Annotatoren auf dieselbe Weise angewendet werden.

Abb. 4: Einblick in Unstimmigkeiten bei der Annotation (Quelle)

Über die Interrater-Reliabilität hinaus: Weitere Maßnahmen zur Qualitätssicherung#

Die Messung der Interrater-Reliabilität ist zwar ein entscheidender Schritt bei der Entwicklung einer KI-Lösung, sie ist jedoch nur Teil eines umfassenderen Qualitätssicherungsprozesses. Die folgenden Maßnahmen können dazu beitragen, die Datenqualität in Teams und Projekten zu verbessern:

• Klare Richtlinien für die Annotation: Die Anweisungen sollten genau erklären, wie Beschriftungen anzuwenden sind, damit alle nach demselben Standard arbeiten.
• Schulung und Kalibrierung: Regelmäßige Sitzungen helfen Annotatoren, aufeinander abgestimmt zu bleiben, und geben ihnen Raum, Fragen zu stellen und sich auf Sonderfälle einzustellen.
• Laufende Qualitätsprüfungen: Stichproben und Beispiele mit bekanntem Referenzwert können Fehler frühzeitig erkennen und die Qualität bei wachsendem Projektumfang hoch halten.
• Auflösung von Unstimmigkeiten: Wenn Annotatoren unterschiedlicher Meinung sind, sollte es einen klaren Prozess zur Überprüfung dieser Fälle und zur abschließenden Entscheidungsfindung geben.
• Vielfältiger Pool an Annotatoren: Die Einbeziehung von Personen mit unterschiedlichen Hintergründen kann Verzerrungen reduzieren und verbessern, wie gut der Datensatz die Vielfalt der realen Welt abbildet.

Wichtige Erkenntnisse#

Die Interrater-Reliabilität misst, wie konsistent Personen Beschriftungen anwenden oder Entscheidungen treffen. Methoden wie Cohens Kappa, Fleiss’ Kappa und ICC helfen, diese Übereinstimmung zu quantifizieren. Klare Richtlinien, Schulungen und die Kontrolle von Verzerrungen führen zu zuverlässigeren Annotationen und damit zu besseren Daten und leistungsfähigeren Modellen.

Tritt unserer Community bei und erkunde unser GitHub-Repository, um mehr über KI zu erfahren. Wenn du dein eigenes Projekt im Bereich der visuellen KI starten möchtest, sieh dir unsere Lizenzoptionen an. Außerdem kannst du auf unseren Lösungsseiten sehen, wie KI im Gesundheitswesen und visuelle KI im Einzelhandel Wirkung zeigen.