Übereinstimmung zwischen Beurteilenden: Definition, Beispiele und Berechnungen

Wenn du ein KI-Modell entwickelst, ist die Qualität deiner Daten genauso wichtig wie die Algorithmen, die dahinterstehen. Wenn mehrere Personen dieselben Daten annotieren oder überprüfen, sind Meinungsverschiedenheiten unvermeidlich. Das gilt für viele Bereiche, darunter Forschung, Gesundheitswesen und Bildungswesen.

Insbesondere in Computer Vision, einem Bereich der KI, in dem Modelle wie Ultralytics YOLO11 darauf trainiert werden, visuelle Daten wie Bilder oder Videos zu interpretieren, spielen annotierte Beispiele eine entscheidende Rolle. Sind die Annotationen uneinheitlich, können Computer-Vision-Modelle Schwierigkeiten haben, die richtigen Muster zu erlernen.

Die Interrater-Reliabilität (IRR) misst, wie einheitlich verschiedene Personen, also Annotierende, bei einer Aufgabe übereinstimmen. Sie hilft dabei, die Konsistenz zu überwachen und Lücken bei der Schulung, den Richtlinien oder der Interpretation zu erkennen. Das ist besonders wichtig beim Training kundenspezifischer Modelle, bei dem KI-Modelle mit bestimmten Daten für einen konkreten Zweck erstellt werden.

In diesem Artikel erklären wir, was Interrater-Reliabilität ist, wie du sie messen und in realen Projekten verbessern kannst. Los geht’s!

Was ist Interrater-Reliabilität?#

Die Interrater-Reliabilität misst, wie häufig zwei oder mehr Personen, auch Beurteilende genannt, bei der Annotation, Bewertung oder Überprüfung desselben Inhalts übereinstimmen. Damit wird geprüft, wie einheitlich verschiedene Beurteilende vorgegebene Kriterien anwenden. Eine hohe Übereinstimmung bedeutet, dass eine Aufgabe klar definiert und verständlich ist.

Dieses Konzept kommt in verschiedenen Bereichen zum Einsatz. Je nach Fachgebiet ist es unter unterschiedlichen Bezeichnungen bekannt, etwa als Übereinstimmung zwischen Beurteilenden, Interobserver-Reliabilität oder Intercoder-Reliabilität. Das zugrunde liegende Prinzip bleibt jedoch dasselbe.

In Vision AI ist die Übereinstimmung zwischen Beurteilenden ein wichtiger Bestandteil der Datenannotation. Das Training von Computer-Vision-Modellen erfordert oft die Annotation umfangreicher Datensätze mit Bildern oder Videoframes. Deshalb arbeiten häufig mehrere annotierende Personen an denselben Daten.

Um genaue Ergebnisse zu erzielen, müssen alle dieselben Annotationsrichtlinien befolgen. Bei der Annotation von Tieren braucht es beispielsweise eine klare Einigung darüber, was als Hund gilt, wie der Begrenzungsrahmen um einen Hund gezogen wird und ob unscharfe Objekte annotiert oder ignoriert werden sollen.

Abb. 1. Interrater-Reliabilität verstehen (Bild vom Autor)

Interrater-, Intrarater- und Test-Retest-Reliabilität#

Wenn Menschen an der Annotation oder Bewertung von Daten beteiligt sind, gibt es drei zentrale Arten der Reliabilität, die du berücksichtigen solltest. Jede dient einem anderen Zweck bei der Messung der Ergebniskonsistenz. Hier ist ein genauerer Blick auf die einzelnen Arten:

• Interrater-Reliabilität: Die Interrater-Reliabilität erfasst, wie stark verschiedene Personen übereinstimmen, wenn sie dieselbe Aufgabe ausführen. Das ist besonders nützlich, wenn mehrere Annotierende an Projekten wie der Bildannotation, der Sentimentanalyse oder medizinischen Begutachtungen beteiligt sind.
• Intrarater-Reliabilität: Hier steht eine einzelne Person im Mittelpunkt. Die Intrarater-Reliabilität prüft, ob eine beurteilende Person bei der wiederholten Ausführung derselben Aufgabe zu verschiedenen Zeitpunkten konsistent bleibt. Wenn sich die Annotationen stark unterscheiden, kann das an unklaren Richtlinien oder einer ungenau definierten Aufgabe liegen.
• Test-Retest-Reliabilität: Bei der Test-Retest-Reliabilität steht nicht die annotierende Person, sondern das verwendete Werkzeug oder Verfahren im Mittelpunkt. Sie misst, ob sich bei einer Wiederholung des Tests unter ähnlichen Bedingungen dasselbe Ergebnis ergibt. Bleibt die Ausgabe konsistent, gilt das Verfahren als zuverlässig.

Zusammen helfen diese Messgrößen dabei, sicherzustellen, dass sowohl Personen als auch Prozesse gleichbleibende, verlässliche Ergebnisse liefern.

Abb. 2. Überblick über die Interrater-, Intrarater- und Test-Retest-Reliabilität (Bild vom Autor)

Warum ist die Interrater-Reliabilität wichtig?#

Bei umfangreichen Computer-Vision-Projekten wirkt sich die Qualität der annotierten Daten direkt auf die Leistung eines Modells aus. Schon kleine Unterschiede darin, wie Annotierende die Richtlinien anwenden, können zu Inkonsistenzen führen, die das Modell beim Training verwirren. Mit der Zeit kann das ungenaue Vorhersagen, verschwendete Ressourcen und eine kostspielige erneute Annotation zur Folge haben.

Die Messung der Interrater-Reliabilität hilft, solche Probleme frühzeitig zu erkennen. Eine hohe Übereinstimmung bedeutet, dass die Annotierenden aufeinander abgestimmt sind und sauberere, zuverlässigere Datensätze erstellen. Eine geringe Übereinstimmung weist darauf hin, dass Anweisungen, Beispiele oder Schulungen möglicherweise überarbeitet werden müssen, bevor das Projekt fortgesetzt wird. Wenn Teams sicherstellen, dass die Annotierenden synchron arbeiten, können sie AI-Modelle entwickeln, die effektiver lernen und in realen Anwendungen bessere Ergebnisse liefern.

Praktische Überlegungen zur Interrater-Reliabilität#

Hier sind einige wichtige praktische Punkte, die du bei der Arbeit mit mehreren Beurteilenden und dem Ziel einer hohen Interrater-Reliabilität beachten solltest:

• Mehrdeutige oder subjektive Aufgaben: Wenn die Annotation Interpretationen erfordert, etwa bei der Entscheidung, ob ein verschwommenes Objekt eine Fußgängerin oder ein Fußgänger ist, oder bei der Beurteilung der Bildqualität, tragen mehrere Beurteilende dazu bei, einheitliche Entscheidungen sicherzustellen und den übermäßigen Einfluss individueller Voreingenommenheit zu vermeiden.
• Einfache, objektive Aufgaben: Bei unkomplizierten Aufgaben wie dem Zählen der Autos in einem Bild oder der Bestätigung, ob ein Objekt vorhanden ist, reicht oft eine gut geschulte Person aus, da die Übereinstimmung in der Regel hoch ist, sobald der Prozess eindeutig festgelegt wurde.
• Klare Annotationsrichtlinien: Detaillierte, leicht verständliche Anweisungen verringern Unsicherheiten bei der Vergabe von Labels und verbessern dadurch die Übereinstimmung zwischen Beurteilenden. Die Richtlinien sollten Sonderfälle ausdrücklich abdecken, um widersprüchliche Interpretationen zu vermeiden.
• Regelmäßige Schulungen und Kalibrierung: Auch erfahrene Beurteilende können mit der Zeit von ihren bisherigen Bewertungsmaßstäben abweichen. Regelmäßige Schulungen und Kalibrierungsprüfungen helfen, die Konsistenz zu wahren und den Versuchsleiter-Bias zu minimieren.

Methoden zur Messung der Interrater-Reliabilität#

Es gibt verschiedene Möglichkeiten, die Übereinstimmung zwischen Beurteilenden zu messen. Welche Methode am besten geeignet ist, hängt von der Art der Daten und der Aufgabe ab. Manche Methoden eignen sich gut für zwei Beurteilende, die einfache Ja-Nein-Fragen bearbeiten, während andere für Situationen mit mehreren Beurteilenden ausgelegt sind.

Zu den gängigen Ansätzen zählen die prozentuale Übereinstimmung, Cohens Kappa, Fleiss’ Kappa und der Intraklassen-Korrelationskoeffizient. Jede Methode misst den Grad der Übereinstimmung zwischen Beurteilenden. Die meisten berücksichtigen außerdem, dass ein Teil der Übereinstimmung zufällig zustande kommen kann.

Cohens Kappa und Fleiss’ Kappa#

Cohens Kappa ist ein weit verbreitetes Verfahren zur Messung der Interrater-Reliabilität zwischen zwei Beurteilenden. Es berechnet, wie oft beide bei einer Aufgabe übereinstimmen, und berücksichtigt dabei, dass ein Teil der Übereinstimmung zufällig zustande kommen könnte. Die Werte liegen zwischen -1 und 1. Ein Wert von 1 steht für vollständige Übereinstimmung, während 0 bedeutet, dass die Übereinstimmung nicht besser ist als zufälliges Raten.

Ebenso wird Fleiss’ Kappa verwendet, wenn mehr als zwei Bewertende beteiligt sind. Der Gesamtwert zeigt, wie einheitlich die Gruppe bewertet. Beide Methoden werden für Aufgaben mit festgelegten Kategorien eingesetzt, etwa zum Beschriften von Bildern oder zum Zuordnen von Emotionen. Sie lassen sich einfach berechnen.

Prozentuale Übereinstimmung und Intraklassen-Korrelationskoeffizient (ICC)#

Eine weitere Methode zur Messung der Interrater-Reliabilität ist die prozentuale Übereinstimmung. Dabei wird berechnet, wie oft die Beurteilenden dieselbe Entscheidung treffen. Die Methode ist einfach anzuwenden, berücksichtigt aber nicht, dass Übereinstimmung zufällig zustande kommen kann.

Der Intraklassen-Korrelationskoeffizient ist dagegen ein fortgeschritteneres Verfahren für kontinuierliche oder skalenbasierte Daten. Er misst, wie einheitlich mehrere Beurteilende bewerten, und wird häufig in Studien mit Bewertungen, Messungen oder anderen Datenarten jenseits fester Kategorien eingesetzt.

Beispiele und Anwendungsbereiche der Interrater-Reliabilität#

Nachdem wir nun besser verstehen, wie sich die Interrater-Reliabilität messen lässt, sehen wir uns an, wie diese Verfahren in realen Anwendungen eingesetzt werden können.

Interrater-Reliabilität bei der Annotation medizinischer Bilddaten#

Bei der medizinischen Bildgebung können schon geringfügige Unterschiede in der Interpretation zu erheblichen Veränderungen der Ergebnisse führen. Radiologinnen und Radiologen sollen beispielsweise oft Muster erkennen, die subtil, mehrdeutig oder schwer zu definieren sind. Werden diese Muster zu Trainingsdaten für AI-Systeme, steht mehr auf dem Spiel. Wenn Fachleute dieselbe Aufnahme unterschiedlich annotieren, kann das Modell falsche Muster erlernen oder überhaupt nichts daraus lernen.

Die Interrater-Reliabilität hilft Teams, die mit solchen Daten arbeiten, zu beurteilen, wie einheitlich die Einschätzungen von Fachleuten tatsächlich sind. In einer aktuellen Studie zu retinalen OCT-Aufnahmen annotierten beispielsweise zwei Beurteilende 500 Bilder.

Bei klar erkennbaren Merkmalen wie Drusen (gelbe Ablagerungen unter der Netzhaut) war die Übereinstimmung mit einem Kappa-Wert von 0,87 hoch. Bei schwieriger zu definierenden Merkmalen wie hyperreflektiven Foci (kleine, helle Punkte auf Netzhautaufnahmen) sank der Wert jedoch auf 0,33. Das zeigt, dass klarere und präziser definierte Merkmale zu einheitlicheren Einschätzungen von Fachleuten führen, während mehrdeutige Merkmale größeren Interpretationsspielraum lassen.

Abb. 3. Beispiele für Labels verschiedener Merkmale im Zusammenhang mit Netzhauterkrankungen (Quelle)

Datensätze für autonome Fahrzeuge und Interrater-Reliabilität#

Das Training von AI-Modellen für ein System zum autonomen Fahren hängt von präzisen und einheitlichen Labels für eine Vielzahl von Straßenbedingungen ab. Annotierende sollen bei solchen Projekten üblicherweise Fußgängerinnen und Fußgänger, Fahrzeuge, Verkehrsschilder und Fahrbahnmarkierungen erkennen – oft bei schlechten Lichtverhältnissen oder in dichtem Verkehr.

Diese Entscheidungen prägen, wie das Modell lernt, auf anspruchsvolle Bedingungen in der realen Welt zu reagieren. Mit der Interrater-Reliabilität können Teams prüfen, ob die Annotierenden dieselben Labels einheitlich vergeben.

Abb. 4. Einblick in abweichende Annotationen (Quelle)

Über die Interrater-Reliabilität hinaus: Weitere Maßnahmen zur Qualitätssicherung#

Die Messung der Interrater-Reliabilität ist zwar ein wichtiger Schritt bei der Entwicklung einer AI-Lösung, gehört aber zu einem umfassenderen Qualitätssicherungsprozess. Hier sind weitere Maßnahmen, die zur Verbesserung der Datenqualität in Teams und Projekten beitragen können:

• Klare Annotationsrichtlinien: Die Anweisungen sollten genau erklären, wie Labels vergeben werden, damit sich alle an denselben Standard halten.
• Schulung und Kalibrierung: Regelmäßige Schulungen helfen den Annotierenden, aufeinander abgestimmt zu bleiben, und geben ihnen Gelegenheit, Fragen zu stellen und sich auf Sonderfälle einzustellen.
• Laufende Qualitätskontrollen: Stichproben und Beispiele nach Goldstandard helfen dabei, Fehler früh zu erkennen und die Qualität auch bei wachsendem Projektumfang hochzuhalten.
• Klärung von Meinungsverschiedenheiten: Wenn Annotierende unterschiedlicher Meinung sind, sollte es ein klares Verfahren geben, um diese Fälle zu prüfen und endgültige Entscheidungen zu treffen.
• Vielfältiger Kreis von Annotierenden: Die Beteiligung von Menschen mit unterschiedlichen Hintergründen kann Voreingenommenheit verringern und die Repräsentativität des Datensatzes für die Vielfalt der realen Welt verbessern.

Die wichtigsten Erkenntnisse#

Die Interrater-Reliabilität misst, wie einheitlich Menschen Labels vergeben oder Entscheidungen treffen. Verfahren wie Cohens Kappa, Fleiss’ Kappa und ICC helfen dabei, diese Übereinstimmung zu quantifizieren. Klare Richtlinien, Schulungen und Maßnahmen gegen Voreingenommenheit sorgen dafür, dass zuverlässige Annotationen zu besseren Daten und leistungsfähigeren Modellen führen.

Werde Teil unserer Community und sieh dir unser GitHub-Repository an, um mehr über AI zu erfahren. Wenn du dein eigenes Computer-Vision-Projekt starten möchtest, informiere dich über unsere Lizenzoptionen. Auf unseren Lösungsseiten erfährst du außerdem, wie AI im Gesundheitswesen und Computer Vision im Einzelhandel Wirkung zeigen.