Согласованность оценок экспертов: определение, примеры и расчёты

При создании модели ИИ качество данных не менее важно, чем алгоритмы, на которых она основана. Если одни и те же данные размечают или проверяют несколько человек, разногласия неизбежны. Это относится ко многим областям, включая исследования, здравоохранение и образование.

В частности, в компьютерном зрении — области ИИ, в которой модели, такие как Ultralytics YOLO11, обучают интерпретировать визуальные данные вроде изображений и видео, размеченные примеры играют ключевую роль. Если метки непоследовательны, моделям компьютерного зрения может быть сложно выучить правильные закономерности.

Межэкспертная согласованность (IRR) показывает, насколько согласованно разные люди, или разметчики, выполняют одну и ту же задачу. Она помогает отслеживать согласованность и выявлять пробелы в обучении, инструкциях или интерпретации. Это особенно важно при обучении пользовательских моделей, которые создаются для конкретных целей на специально подобранных данных.

В этой статье мы разберем, что такое межэкспертная согласованность, как ее измерять и повышать в реальных проектах. Начнем!

Что такое межэкспертная согласованность?#

Межэкспертная согласованность показывает, как часто два или более человека (эксперты) одинаково размечают, оценивают или проверяют одни и те же данные. Этот показатель используют, чтобы проверить, насколько единообразно разные эксперты применяют заданные критерии. Высокая согласованность между экспертами означает, что задача четко определена и понятна.

Это понятие используют в разных областях. В зависимости от сферы его называют по-разному: согласие экспертов, согласованность наблюдателей или согласованность кодировщиков. Однако основной принцип остается неизменным.

В ИИ для компьютерного зрения согласованность оценок экспертов — важная часть процесса разметки данных. Для обучения моделей компьютерного зрения часто требуется размечать огромные наборы данных с изображениями или видеокадрами, поэтому над одними и теми же данными нередко работают несколько аннотаторов.

Чтобы получать точные результаты, все участники должны следовать одним и тем же инструкциям по разметке. Например, при разметке животных важно договориться, что считать собакой, как обводить ее ограничивающей рамкой и нужно ли размечать размытые объекты или игнорировать их.

Рис. 1. Понимание межэкспертной согласованности (изображение создано автором)

Межэкспертная и внутриэкспертная согласованность, а также надежность повторного тестирования#

При разметке или оценке данных людьми важно учитывать три основных типа надежности. Каждый из них помогает по-своему оценить согласованность результатов. Рассмотрим их подробнее:

• Межэкспертная согласованность: Этот показатель отражает степень согласия разных людей, выполняющих одну и ту же задачу. Он особенно полезен, когда в проектах, таких как разметка изображений, анализ тональности или медицинская экспертиза, участвуют несколько специалистов по аннотированию.
• Внутриэкспертная согласованность: Здесь внимание сосредоточено на одном человеке. Этот показатель помогает проверить, одинаково ли эксперт выполняет одну и ту же задачу в разное время. Если метки сильно различаются, это может указывать на неясные инструкции или недостаточно четко сформулированную задачу.
• Надежность повторного тестирования: Этот показатель относится не к специалисту по аннотированию, а к используемому инструменту или методу. Он позволяет проверить, получается ли тот же результат при повторении теста в схожих условиях. Если результат остается стабильным, метод считается надежным.

В совокупности эти показатели помогают убедиться, что и люди, и процессы обеспечивают стабильные и надежные результаты.

Рис. 2. Обзор межэкспертной, внутриэкспертной и тест-ретестовой надежности (изображение автора)

Почему важна межэкспертная надежность?#

В крупных проектах в области компьютерного зрения качество размеченных данных напрямую влияет на производительность модели. Даже небольшие различия в том, как аннотаторы применяют рекомендации, могут привести к несогласованности данных и затруднить обучение модели. Со временем это может стать причиной неточных прогнозов, напрасной траты ресурсов и необходимости дорогостоящей повторной разметки.

Измерение межэкспертной надежности помогает выявить такие проблемы на раннем этапе. Высокий уровень согласия означает, что аннотаторы работают согласованно и создают более чистые и надежные наборы данных. Низкий уровень согласия указывает на то, что инструкции, примеры или обучение, возможно, нужно доработать, прежде чем проект продолжится. Благодаря согласованной работе разметчиков команды могут создавать модели ИИ, которые эффективнее обучаются и показывают лучшие результаты в реальных приложениях.

Практические аспекты межэкспертной надежности#

Вот несколько важных практических аспектов, которые стоит учитывать при работе с несколькими экспертами и стремлении поддерживать высокий уровень межэкспертной надежности:

• Неоднозначные или субъективные задачи: Когда разметка требует интерпретации — например, нужно определить, является ли размытый объект пешеходом, или оценить качество изображения, — участие нескольких экспертов помогает обеспечить согласованность решений и не допустить чрезмерного влияния личных предубеждений.
• Простые объективные задачи: Для несложных задач, таких как подсчет автомобилей на изображении или подтверждение присутствия объекта, часто достаточно одного хорошо обученного эксперта, поскольку после четкого определения процедуры уровень согласия обычно высок.
• Четкие правила разметки: Подробные и понятные инструкции уменьшают неопределенность при присвоении меток и повышают согласованность между экспертами. В правилах должны быть явно описаны пограничные случаи, чтобы избежать разночтений.
• Периодическое обучение и калибровка: Со временем даже опытные эксперты могут менять свои подходы к оценке. Регулярные обучающие занятия и проверки калибровки помогают поддерживать согласованность и сводить к минимуму влияние экспериментатора.

Методы оценки межэкспертной надежности#

Существует несколько способов измерить согласованность оценок экспертов, и выбор подходящего зависит от типа данных и задачи. Одни методы хорошо подходят для двух экспертов, отвечающих на простые вопросы «да» или «нет», другие предназначены для случаев с несколькими экспертами.

К распространённым методам относятся процент совпадений, каппа Коэна, каппа Флейсса и коэффициент внутриклассовой корреляции. Каждый метод оценивает степень согласованности между экспертами, и большинство из них также учитывает вероятность случайного совпадения оценок.

Каппа Коэна и каппа Флейсса#

Каппа Коэна — широко используемый метод измерения межэкспертной надежности при работе двух экспертов. Он вычисляет, как часто эксперты согласны друг с другом при выполнении задачи, и при этом учитывает вероятность случайного совпадения. Значения варьируются от -1 до 1: 1 означает полное согласие, а 0 — что уровень согласия не выше случайного угадывания.

Аналогично, каппу Флейсса используют, когда в оценке участвуют более двух экспертов. Она дает общую оценку согласованности группы. Оба метода применяются для задач с заданными категориями, например для разметки изображений или маркировки эмоций. Их легко вычислить.

Процент совпадений и коэффициент внутриклассовой корреляции (ICC)#

Еще один способ измерить межэкспертную надежность — вычислить процент совпадений, то есть долю случаев, когда эксперты принимают одинаковое решение. Этот простой в применении метод не учитывает совпадения, которые могли возникнуть случайно.

Коэффициент внутриклассовой корреляции — более сложный метод для непрерывных данных или данных, заданных шкалой. Он измеряет согласованность оценок нескольких экспертов и часто применяется в исследованиях, где используются баллы, измерения и другие типы данных, не ограниченные фиксированными категориями.

Примеры и применение межэкспертной надежности#

Теперь, когда мы лучше понимаем, как измерять межэкспертную надежность, рассмотрим, как применять эти методы в реальных задачах.

Межэкспертная надежность при аннотировании медицинских изображений#

При работе с медицинскими изображениями даже незначительные различия в интерпретации могут существенно повлиять на результаты. Например, рентгенологам часто нужно выявлять едва заметные, неоднозначные или трудноопределимые паттерны. Когда эти паттерны становятся обучающими данными для систем ИИ, цена ошибки возрастает. Если эксперты по-разному размечают один и тот же снимок, модель может усвоить неверные паттерны или не научиться вовсе.

Межэкспертная надежность помогает командам, работающим с такими данными, оценить реальную согласованность суждений экспертов. Например, в недавнем исследовании ОКТ-сканов сетчатки два эксперта разметили 500 изображений.

Согласие было высоким для четко различимых признаков, таких как друзы (желтые отложения под сетчаткой): оценка каппа составила 0,87. Но для менее четко определяемых признаков, например гиперрефлективных фокусов (небольших ярких пятен на сканах сетчатки), оценка снизилась до 0,33. Это показывает, что для более четких и хорошо определенных признаков экспертные оценки обычно согласованнее, тогда как неоднозначные признаки оставляют больше пространства для интерпретации.

Рис. 3. Примеры разметки различных признаков, связанных с заболеваниями сетчатки (Источник)

Наборы данных для автономных автомобилей и межэкспертная надежность#

Обучение моделей ИИ для системы автономного вождения зависит от точных и согласованных меток для самых разных дорожных условий. Обычно аннотаторам в таких проектах нужно размечать пешеходов, транспортные средства, дорожные знаки и разметку полос, часто при плохом освещении или в загруженных сценах.

Эти решения определяют, как модель учится реагировать в сложных реальных условиях. Межэкспертная надежность позволяет командам проверять, одинаково ли аннотаторы применяют метки.

Рис. 4. Пример разногласий при аннотировании (Источник)

Помимо межэкспертной надежности: другие меры контроля качества#

Хотя оценка межэкспертной надежности — важный этап создания решения на основе ИИ, она является частью более широкого процесса контроля качества. Вот еще несколько способов, которые помогут повысить качество данных в разных командах и проектах:

• Понятные инструкции по разметке: инструкции должны точно объяснять, как присваивать метки, чтобы все работали по единому стандарту.
• Обучение и калибровка: Регулярные занятия помогают аннотаторам работать согласованно, задавать вопросы и разбираться с пограничными случаями.
• Постоянный контроль качества: выборочные проверки и эталонные примеры помогают быстро выявлять ошибки и поддерживать высокое качество по мере масштабирования проекта.
• Разрешение разногласий: Если аннотаторы расходятся во мнениях, должен быть четкий процесс рассмотрения таких случаев и принятия окончательного решения.
• Разнообразный состав аннотаторов: Участие людей с разным опытом помогает уменьшить предвзятость и сделать набор данных более репрезентативным с учетом разнообразия реального мира.

Главные выводы#

Межэкспертная надежность показывает, насколько последовательно люди применяют метки или принимают решения. Такие методы, как каппа Коэна, каппа Флейсса и ICC, помогают количественно оценить согласованность. Четкие правила, обучение и контроль предвзятости обеспечивают надежную разметку, качественные данные и более высокие результаты модели.

Присоединяйся к нашему сообществу и изучи наш репозиторий на GitHub, чтобы узнать больше об ИИ. Если ты хочешь начать собственный проект в области компьютерного зрения и ИИ, ознакомься с нашими вариантами лицензирования. На страницах наших решений ты также узнаешь, как ИИ в здравоохранении и ИИ для компьютерного зрения в розничной торговле меняют отрасли.