Межэкспертная надёжность: определение, примеры и расчёты

При создании AI-модели качество данных так же важно, как и лежащие в ее основе алгоритмы. Если одни и те же данные размечают или проверяют несколько человек, разногласия неизбежны. Это актуально для многих областей, включая исследования, здравоохранение и образование.

В частности, в компьютерном зрении, направлении AI, связанном с обучением моделей, таких как Ultralytics YOLO11, интерпретирующих визуальные данные вроде изображений или видео, размеченные примеры играют ключевую роль. Если эти метки непоследовательны, моделям компьютерного зрения может быть сложно выучить правильные закономерности.

Межэкспертная надежность (IRR) показывает, насколько согласованно разные люди, или разметчики, выполняют одну и ту же задачу. Она помогает отслеживать согласованность и выявлять пробелы в обучении, инструкциях или интерпретации. Это особенно важно при обучении пользовательских моделей, когда AI-модели создаются на основе специализированных данных для конкретной цели.

В этой статье мы разберем, что такое межэкспертная надежность, как ее измерять и как повышать в реальных проектах. Давай начнем!

Что такое межэкспертная надежность?#

Межэкспертная надежность показывает, как часто два или более человек (также называемые экспертами) соглашаются друг с другом при разметке, оценке или проверке одних и тех же данных. Она используется для проверки того, насколько последовательно разные эксперты применяют заданные критерии. Высокое согласие между экспертами означает, что задача четко определена и понятна.

Это понятие используется в разных областях. В зависимости от сферы оно может называться по-разному, например межэкспертное согласие, надежность между наблюдателями или надежность между кодировщиками. Однако основной принцип остается тем же.

В AI для работы с изображениями межэкспертная надежность — важная часть процесса разметки данных. Для обучения моделей компьютерного зрения часто требуется разметить огромные наборы изображений или видеокадров, поэтому несколько AI-разработчиков совместно работают с одними и теми же данными.

Чтобы получить точные результаты, они должны следовать одним и тем же инструкциям по разметке. Например, при разметке животных всем нужно четко понимать, что считать собакой, как рисовать вокруг нее ограничивающую рамку и размечать ли размытые объекты или игнорировать их.

Рис. 1. Понимание межэкспертной надежности (изображение автора)

Межэкспертная и внутриэкспертная надежность, а также надежность теста–ретеста#

Когда люди участвуют в разметке или оценке данных, необходимо учитывать три основных типа надежности. Каждый из них предназначен для измерения согласованности результатов с определенной стороны. Рассмотрим каждый подробнее:

• Межэкспертная надежность: Межэкспертная надежность показывает, насколько согласованы между собой разные люди, выполняющие одну и ту же задачу. Это особенно полезно, когда несколько аннотаторов участвуют в таких проектах, как разметка изображений, анализ тональности или медицинская проверка.

• Внутриэкспертная надежность: Здесь внимание сосредоточено на одном человеке. Внутриэкспертная надежность проверяет, остается ли эксперт последовательным при повторном выполнении одной и той же задачи в разное время. Если метки слишком сильно меняются, причиной могут быть неясные инструкции или недостаточная четкость задачи.

• Надежность теста–ретеста: Надежность теста–ретеста сосредоточена не на аннотаторе, а на используемом инструменте или методе. Она показывает, появляется ли тот же результат при повторении теста в аналогичных условиях. Если результат остается стабильным, метод считается надежным.

В совокупности эти показатели помогают убедиться, что и люди, и процессы обеспечивают стабильные и достоверные результаты.

Рис. 2. Обзор межэкспертной, внутриэкспертной надежности и надежности теста–ретеста (изображение автора)

Почему важна межэкспертная надежность?#

В масштабных проектах по AI для работы с изображениями качество размеченных данных напрямую влияет на эффективность модели. Даже небольшие различия в применении инструкций аннотаторами могут привести к несогласованности, которая запутает модель во время обучения. Со временем это может вызвать неточные прогнозы, напрасные расходы ресурсов и необходимость дорогостоящей повторной разметки.

Измерение межэкспертной надежности помогает выявить такие проблемы на раннем этапе. Высокое согласие означает, что аннотаторы действуют согласованно и создают более чистые и надежные наборы данных. Низкое согласие указывает на необходимость доработать инструкции, примеры или обучение до продолжения проекта. Синхронная работа разметчиков помогает командам создавать AI-модели, которые эффективнее обучаются и дают лучшие результаты в реальных приложениях.

Практические аспекты межэкспертной надежности#

Вот несколько ключевых практических аспектов, которые стоит учитывать при работе с несколькими экспертами и стремлении поддерживать высокую межэкспертную надежность:

• Неоднозначные или субъективные задачи: Если разметка требует интерпретации, например нужно определить, является ли размытый объект пешеходом, или оценить качество изображения, несколько экспертов помогают обеспечить согласованность решений и не допустить чрезмерного влияния индивидуальной предвзятости.
• Простые объективные задачи: Для несложных задач, таких как подсчет количества автомобилей на изображении или подтверждение наличия объекта, часто достаточно одного хорошо обученного эксперта, поскольку после четкого определения процесса согласие обычно бывает высоким.
• Четкие инструкции по разметке: Подробные и понятные инструкции уменьшают неопределенность при нанесении меток, что повышает согласованность между экспертами. В инструкциях следует явно описывать нестандартные случаи, чтобы предотвратить различия в интерпретации.
• Регулярное обучение и калибровка: Со временем даже опытные эксперты могут менять свои оценки. Регулярные обучающие сессии и проверки калибровки помогают поддерживать согласованность и минимизировать предвзятость экспериментатора.

Метрики межэкспертной надежности#

Существует несколько способов измерить межэкспертную надежность, и оптимальный выбор зависит от типа данных и задачи. Одни методы хорошо подходят для одного эксперта, выполняющего простые задачи с ответом «да» или «нет», а другие разработаны для ситуаций с несколькими экспертами.

К распространенным подходам относятся процент согласия, каппа Коэна, каппа Флейса и внутриклассовый коэффициент корреляции. Каждый метод измеряет уровень согласия между экспертами и учитывает возможность того, что часть согласия могла возникнуть случайно.

Каппа Коэна и каппа Флейса#

Каппа Коэна — широко используемый метод измерения межэкспертной надежности между двумя экспертами. Он рассчитывает, как часто они соглашаются при выполнении задачи, корректируя результат с учетом возможности случайного согласия. Значения находятся в диапазоне от -1 до 1: значение 1 означает полное согласие, а 0 — что согласие не лучше случайного угадывания.

Аналогично, каппа Флейса используется, когда в работе участвуют более двух экспертов. Она дает общую оценку согласованности группы. Оба метода применяются для задач с фиксированными категориями, например для разметки изображений или маркировки эмоций. Их легко рассчитывать, и они поддерживаются большинством инструментов аннотации.

Процент согласия и внутриклассовый коэффициент корреляции (ICC)#

Еще один способ измерить межэкспертную надежность — процент согласия, который рассчитывает долю случаев, когда эксперты принимают одинаковое решение. Этот метод прост в использовании, но не учитывает согласие, которое могло возникнуть случайно.

Внутриклассовый коэффициент корреляции — более продвинутый метод, используемый для непрерывных данных или данных со шкалой. Он измеряет согласованность оценок нескольких экспертов и часто применяется в исследованиях, включающих баллы, измерения и другие типы данных, не ограниченные фиксированными категориями.

Примеры и применение межэкспертной надежности#

Теперь, когда мы лучше понимаем, как измерять межэкспертную надежность, рассмотрим, как эти методы применяются в реальных задачах.

Межэкспертная надежность при аннотации медицинских изображений#

В медицинской визуализации даже небольшие различия в интерпретации могут привести к существенным изменениям результатов. Например, радиологам часто приходится выявлять малозаметные, неоднозначные или трудные для определения закономерности. Когда такие закономерности становятся обучающими данными для AI-систем, цена ошибки возрастает. Если эксперты по-разному размечают один и тот же снимок, модель может выучить неправильные закономерности или вовсе не научиться им.

Межэкспертная надежность помогает командам, работающим с такими данными, оценить, насколько согласованы экспертные суждения на самом деле. Например, в недавнем исследовании, посвященном OCT-сканам сетчатки, два эксперта разметили 500 изображений.

Согласие было высоким для четко выраженных признаков, таких как друзы (желтые отложения под сетчаткой): значение каппы составило 0,87. Однако для более сложных элементов, таких как гиперрефлективные фокусы (небольшие яркие пятна на сканах сетчатки), показатель снизился до 0,33. Это показывает, что более четкие и точно определенные признаки обычно приводят к более согласованным экспертным оценкам, тогда как неоднозначные признаки оставляют больше пространства для интерпретации.

Рис. 3. Примеры меток для различных признаков, связанных с заболеваниями сетчатки (источник)

Наборы данных для автономных транспортных средств и межэкспертная надежность#

Обучение AI-моделей для системы автономного вождения зависит от точных и согласованных меток для широкого спектра дорожных условий. Аннотаторам в таких проектах обычно поручают распознавать пешеходов, транспортные средства, дорожные знаки и дорожную разметку, часто в условиях плохого освещения или на перегруженных сценах.

Эти решения определяют, как модель учится реагировать в сложных реальных условиях. Межэкспертная надежность позволяет командам проверить, одинаково ли аннотаторы применяют эти метки.

Рис. 4. Взгляд на разногласия при аннотации (источник)

За пределами межэкспертной надежности: другие меры обеспечения качества#

Хотя измерение межэкспертной надежности — важный этап создания AI-решения, это лишь часть более широкого процесса обеспечения качества. Вот несколько других практик, которые могут помочь повысить качество данных в разных командах и проектах:

• Четкие инструкции по аннотации: Инструкции должны точно объяснять, как применять метки, чтобы все работали по единому стандарту.
• Обучение и калибровка: Регулярные сессии помогают аннотаторам сохранять согласованность, задавать вопросы и адаптироваться к нестандартным случаям.
• Постоянные проверки качества: Выборочные проверки и эталонные примеры помогают рано выявлять ошибки и поддерживать высокое качество по мере масштабирования проекта.
• Разрешение разногласий: При возникновении разногласий между аннотаторами должен существовать четкий процесс рассмотрения таких случаев и принятия окончательных решений.
• Разнообразный состав аннотаторов: Участие людей с разным опытом и происхождением может уменьшить предвзятость и улучшить соответствие набора данных реальному разнообразию.

Основные выводы#

Межэкспертная надежность показывает, насколько последовательно люди применяют метки или принимают решения. Такие методы, как каппа Коэна, каппа Флейса и ICC, помогают количественно оценить это согласие. Четкие инструкции, обучение и контроль предвзятости позволяют получать надежные аннотации, более качественные данные и лучшие результаты работы моделей.

Присоединяйся к нашему сообществу и изучай наш репозиторий на GitHub, чтобы узнать больше об AI. Если ты хочешь запустить собственный проект в области AI для работы с изображениями, ознакомься с нашими вариантами лицензирования. Также на страницах наших решений можно узнать, как AI в здравоохранении и AI для работы с изображениями в розничной торговле меняют отрасли.