Межэкспертная надежность: определение, примеры, расчеты

Когда ты создаешь модель ИИ, качество твоих данных так же важно, как и алгоритмы в их основе. Всякий раз, когда несколько человек размечают или проверяют одни и те же данные, разногласия неизбежны. Это справедливо для многих областей, включая науку, здравоохранение и образование.

В частности, в computer vision — отрасли ИИ, которая включает обучение моделей, таких как Ultralytics YOLO11, для интерпретации визуальных данных, таких как изображения или видео, — размеченные примеры играют решающую роль. Если эта разметка противоречива, модели computer vision могут с трудом распознавать правильные закономерности.

Согласованность оценок экспертов (Inter-rater reliability, IRR) измеряет, насколько последовательно разные люди, или разметчики, приходят к общему мнению при выполнении задачи. Она помогает контролировать единообразие и выявлять пробелы в обучении, инструкциях или интерпретации. Это особенно важно при обучении кастомных моделей, где ИИ-модели создаются с использованием специфических данных для конкретных целей.

В этой статье мы рассмотрим, что такое согласованность оценок экспертов, как ее измерить и как улучшить в реальных проектах. Давай начнем!

Link to this sectionЧто такое согласованность оценок экспертов?#

Согласованность оценок экспертов измеряет, как часто два или более человека (также называемые экспертами или оценщиками) соглашаются друг с другом при разметке, оценке или проверке одного и того же контента. Она используется для проверки того, насколько последовательно разные оценщики применяют заданные критерии. Высокая степень согласия между экспертами означает, что задача четко определена и понятна.

Эта концепция используется в различных областях. В зависимости от сферы, она может называться по-разному, например, межэкспертное согласие, согласованность наблюдений или согласованность кодирования. Однако основной принцип остается неизменным.

В vision AI согласованность оценок экспертов является ключевой частью процесса разметки данных. Обучение computer vision models часто требует разметки огромных наборов изображений или кадров видео, поэтому несколько разработчиков ИИ работают над одними и теми же данными сообща.

Чтобы получить точные результаты, им необходимо следовать единым инструкциям по разметке. Например, при разметке животных всем нужно четкое согласие в том, что именно считается собакой, как рисовать ограничивающую рамку (bbox) вокруг нее и нужно ли размечать размытые объекты или игнорировать их.

Рис. 1. Понимание согласованности оценок экспертов (изображение автора)

Link to this sectionМежэкспертная согласованность (inter-rater) против внутриэкспертной (intra-rater) и ретестовой надежности#

Когда люди участвуют в разметке или оценке данных, следует учитывать три основных типа надежности. Каждый из них служит разным целям при измерении того, насколько последовательны результаты. Давай рассмотрим каждый из них подробнее:

• Согласованность оценок экспертов (Inter-rater reliability): Этот показатель оценивает, насколько совпадают мнения разных людей, выполняющих одну и ту же задачу. Это особенно полезно, когда в проектах (таких как разметка изображений, анализ тональности или медицинские проверки) задействовано несколько аннотаторов.

• Внутриэкспертная надежность (Intra-rater reliability): Она смещает фокус на одного человека. Внутриэкспертная надежность проверяет, остается ли оценщик последовательным при повторении одной и той же задачи в разное время. Если оценки меняются слишком сильно, это может быть следствием неясных инструкций или недостаточного понимания задачи.

• Ретестовая надежность (Test-retest reliability): Она фокусируется не на аннотаторе, а на используемом инструменте или методе. Она измеряет, появляется ли тот же результат при повторении теста в схожих условиях. Если вывод остается стабильным, метод считается надежным.

В совокупности эти показатели помогают убедиться, что как люди, так и процессы выдают стабильные и достоверные результаты.

Рис. 2. Обзор межэкспертной, внутриэкспертной и ретестовой надежности (изображение автора)

Link to this sectionПочему важна согласованность оценок экспертов?#

В масштабных проектах vision AI качество размеченных данных напрямую влияет на производительность модели. Даже небольшие различия в том, как аннотаторы применяют инструкции, могут внести несогласованность, которая запутает модель во время обучения. Со временем это может привести к неточным прогнозам, потере ресурсов и необходимости дорогостоящей переразметки.

Измерение согласованности оценок помогает выявить эти проблемы на раннем этапе. Высокое согласие означает, что аннотаторы работают слаженно, создавая более чистые и надежные datasets. Низкое согласие сигнализирует о том, что инструкции, примеры или обучение, возможно, нуждаются в уточнении перед тем, как двигаться дальше. Обеспечивая синхронную работу разметчиков, команды могут создавать ИИ-модели, которые учатся эффективнее и показывают лучшие результаты в реальных задачах.

Link to this sectionПрактические аспекты согласованности оценок экспертов#

Вот несколько важных практических моментов, которые стоит иметь в виду при работе с несколькими экспертами для поддержания высокой согласованности оценок:

• Двусмысленные или субъективные задачи: Когда разметка включает интерпретацию (например, решение о том, является ли размытый объект пешеходом, или оценка качества изображения), наличие нескольких экспертов помогает обеспечить согласованность решений и избежать чрезмерного влияния личных предубеждений.
• Простые, объективные задачи: Прямолинейные задачи, такие как counting количества автомобилей на изображении или подтверждение наличия объекта, часто требуют только одного хорошо обученного эксперта, поскольку согласованность обычно высока, если процесс четко определен.
• Четкие инструкции по разметке: Подробные, простые в исполнении инструкции снижают неопределенность при применении меток, что улучшает согласованность между экспертами. Руководства должны четко охватывать граничные случаи, чтобы предотвратить противоречивые интерпретации.
• Периодическое обучение и калибровка: Со временем даже у опытных экспертов оценки могут отклоняться. Регулярные учебные сессии и проверки калибровки помогают поддерживать последовательность и минимизировать экспериментальные ошибки.

Link to this sectionМеры согласованности оценок экспертов#

Существует несколько способов измерения согласованности, и лучший выбор зависит от типа данных и задачи. Некоторые методы хорошо подходят для отдельных экспертов, отвечающих на простые вопросы типа «да/нет», в то время как другие разработаны для ситуаций с участием множества экспертов.

Распространенные подходы включают процент согласия, каппу Коэна, каппу Флейса и внутриклассовый коэффициент корреляции. Каждый метод измеряет уровень согласия между экспертами и учитывает вероятность того, что какое-то совпадение может произойти случайно.

Link to this sectionКаппа Коэна и каппа Флейса#

Каппа Коэна — широко используемый метод для измерения согласованности между двумя экспертами. Он вычисляет, как часто они соглашаются друг с другом, корректируя результат с учетом возможности случайного угадывания. Значения варьируются от -1 до 1, где 1 означает идеальное согласие, а 0 означает, что согласие не лучше, чем случайный выбор.

Аналогично, каппа Флейса используется, когда задействовано более двух экспертов. Он предоставляет общий показатель, который показывает, насколько последовательна группа. Оба метода применяются для задач с фиксированными категориями, такими как labeling images или тегирование эмоций. Их легко рассчитать, и они поддерживаются большинством инструментов разметки.

Link to this sectionПроцент согласия и внутриклассовый коэффициент корреляции (ICC)#

Еще один способ измерения согласованности — процент согласия, который рассчитывает долю случаев, когда эксперты принимают одинаковое решение. Хотя его просто использовать, он не учитывает согласие, которое может произойти по чистой случайности.

В то же время внутриклассовый коэффициент корреляции — это более продвинутый метод, используемый для непрерывных данных или данных на основе шкал. Он измеряет, насколько согласованы оценки нескольких экспертов, и часто применяется в исследованиях, связанных с баллами, измерениями или другими типами данных помимо фиксированных категорий.

Link to this sectionПримеры и применение согласованности оценок экспертов#

Теперь, когда у нас есть лучшее понимание того, как измерять согласованность оценок экспертов, давай разберем, как эти методы могут быть применены в реальных проектах.

Link to this sectionСогласованность оценок экспертов в разметке медицинских изображений#

Когда дело доходит до medical imaging, даже незначительные различия в интерпретации могут привести к существенным изменениям в результатах. Например, радиологов часто просят идентифицировать паттерны, которые являются тонкими, двусмысленными или сложными для определения. Когда такие паттерны становятся обучающими данными для систем ИИ, ставки возрастают. Если эксперты размечают один и тот же снимок по-разному, модель может выучить неправильные закономерности или вовсе ничему не научиться.

Согласованность оценок экспертов помогает командам, работающим с такими данными, оценить, насколько последовательны суждения экспертов. Например, в недавнем исследовании, посвященном retinal OCT scans, два эксперта разметили 500 изображений.

Согласие было высоким для четких признаков, таких как друзы (желтые отложения под сетчаткой), с показателем каппы 0,87. Но для более сложных элементов, таких как гиперрефлективные фокусы (маленькие яркие пятна на снимках сетчатки), показатель упал до 0,33. Это показывает, что более четкие, хорошо определенные признаки, как правило, дают более последовательные экспертные суждения, в то время как двусмысленные признаки оставляют больше места для интерпретации.

Рис. 3. Примеры разметки различных признаков, связанных с заболеваниями сетчатки (Источник)

Link to this sectionНаборы данных для автономных транспортных средств и согласованность оценок#

Обучение ИИ-моделей для системы autonomous driving зависит от точных и согласованных меток в широком спектре дорожных условий. Аннотаторов, работающих над такими проектами, обычно просят идентифицировать пешеходов, транспортные средства, дорожные знаки и дорожную разметку, часто в условиях плохого освещения или на людных сценах.

Эти решения формируют то, как модель учится реагировать в суровых реальных условиях. Согласованность оценок экспертов позволяет командам проверять, применяются ли эти метки одинаково разными аннотаторами.

Рис. 4. Взгляд на разногласия при аннотировании (Источник)

Link to this sectionЗа пределами согласованности оценок: другие меры обеспечения качества#

Хотя измерение согласованности оценок экспертов является важным шагом при создании AI solution, это лишь часть более широкого процесса обеспечения качества. Вот некоторые другие практики, которые могут помочь улучшить качество данных в командах и проектах:

• Четкие инструкции по аннотированию: Инструкции должны точно объяснять, как применять метки, чтобы все работали по единому стандарту.
• Обучение и калибровка: Регулярные сессии помогают аннотаторам сохранять единый подход и дают им пространство для того, чтобы задавать вопросы и адаптироваться к граничным случаям.
• Постоянные проверки качества: Выборочные проверки и эталонные примеры могут помочь обнаружить ошибки на ранней стадии и поддерживать высокое качество по мере масштабирования проекта.
• Разрешение разногласий: Когда аннотаторы не согласны друг с другом, должен быть четкий процесс для пересмотра этих случаев и принятия окончательных решений.
• Разнообразный пул аннотаторов: Привлечение людей с разным опытом может уменьшить предвзятость и улучшить то, насколько хорошо набор данных представляет реальные вариации.

Link to this sectionОсновные выводы#

Согласованность оценок экспертов измеряет, насколько последовательно люди применяют метки или принимают решения. Такие методы, как каппа Коэна, каппа Флейса и ICC, помогают количественно оценить это согласие. Благодаря четким руководствам, обучению и контролю предвзятости, надежная разметка приводит к более качественным данным и лучшим результатам модели.

Присоединяйся к нашему сообществу и изучай наш GitHub repository, чтобы узнать больше об ИИ. Если ты хочешь начать свой собственный проект vision AI, ознакомься с нашими licensing options. Ты также можешь увидеть, как AI in healthcare и vision AI in retail влияют на индустрию, посетив наши страницы решений.