Межэкспертная надежность: определение, примеры, расчеты

Когда ты создаешь модель ИИ, качество твоих данных так же важно, как и алгоритмы в их основе. Всякий раз, когда несколько человек размечают или проверяют одни и те же данные, разногласия неизбежны. Это справедливо для многих областей, включая науку, здравоохранение и образование.

В частности, в computer vision, отрасли ИИ, которая включает в себя обучение таких моделей, как Ultralytics YOLO11, интерпретации визуальных данных, таких как изображения или видео, размеченные примеры играют важнейшую роль. Если эти метки несогласованны, моделям computer vision может быть сложно усвоить правильные паттерны.

Согласованность оценок экспертов (Inter-rater reliability, IRR) измеряет, насколько последовательно разные люди, или разметчики, приходят к общему мнению при выполнении задачи. Она помогает контролировать единообразие и выявлять пробелы в обучении, инструкциях или интерпретации. Это особенно важно при обучении кастомных моделей, где ИИ-модели создаются с использованием специфических данных для конкретных целей.

В этой статье мы рассмотрим, что такое согласованность оценок экспертов, как ее измерить и как улучшить в реальных проектах. Давай начнем!

Что такое согласованность оценок экспертов?#

Согласованность оценок экспертов измеряет, как часто два или более человека (также называемые экспертами или оценщиками) соглашаются друг с другом при разметке, оценке или проверке одного и того же контента. Она используется для проверки того, насколько последовательно разные оценщики применяют заданные критерии. Высокая степень согласия между экспертами означает, что задача четко определена и понятна.

Эта концепция используется в различных областях. В зависимости от сферы, она может называться по-разному, например, межэкспертное согласие, согласованность наблюдений или согласованность кодирования. Однако основной принцип остается неизменным.

В vision AI межэкспертная согласованность является ключевой частью процесса разметки данных. Обучение computer vision models часто требует разметки огромных наборов данных изображений или видеокадров, поэтому несколько разработчиков ИИ работают над одними и теми же данными вместе.

Чтобы получить точные результаты, им необходимо следовать единым инструкциям по разметке. Например, при разметке животных всем нужно четкое согласие в том, что именно считается собакой, как рисовать ограничивающую рамку (bbox) вокруг нее и нужно ли размечать размытые объекты или игнорировать их.

Рис. 1. Понимание согласованности оценок экспертов (изображение автора)

Межэкспертная согласованность (inter-rater) против внутриэкспертной (intra-rater) и ретестовой надежности#

Когда люди участвуют в разметке или оценке данных, следует учитывать три основных типа надежности. Каждый из них служит разным целям при измерении того, насколько последовательны результаты. Давай рассмотрим каждый из них подробнее:

• Согласованность оценок экспертов (Inter-rater reliability): Этот показатель оценивает, насколько совпадают мнения разных людей, выполняющих одну и ту же задачу. Это особенно полезно, когда в проектах (таких как разметка изображений, анализ тональности или медицинские проверки) задействовано несколько аннотаторов.

• Внутриэкспертная надежность (Intra-rater reliability): Она смещает фокус на одного человека. Внутриэкспертная надежность проверяет, остается ли оценщик последовательным при повторении одной и той же задачи в разное время. Если оценки меняются слишком сильно, это может быть следствием неясных инструкций или недостаточного понимания задачи.

• Ретестовая надежность (Test-retest reliability): Она фокусируется не на аннотаторе, а на используемом инструменте или методе. Она измеряет, появляется ли тот же результат при повторении теста в схожих условиях. Если вывод остается стабильным, метод считается надежным.

В совокупности эти показатели помогают убедиться, что как люди, так и процессы выдают стабильные и достоверные результаты.

Рис. 2. Обзор межэкспертной, внутриэкспертной и ретестовой надежности (изображение автора)

Почему важна согласованность оценок экспертов?#

В масштабных проектах vision AI качество размеченных данных напрямую влияет на производительность модели. Даже небольшие различия в том, как аннотаторы применяют инструкции, могут внести несогласованность, которая запутает модель во время обучения. Со временем это может привести к неточным прогнозам, потере ресурсов и необходимости дорогостоящей переразметки.

Измерение межэкспертной согласованности помогает вовремя выявить эти проблемы. Высокая степень согласия означает, что разметчики мыслят одинаково, создавая более чистые и надежные datasets. Низкая степень согласия сигнализирует о том, что инструкции, примеры или обучение, возможно, потребуется доработать до того, как проект продвинется дальше. Обеспечивая слаженную работу разметчиков, команды могут создавать модели ИИ, которые учатся более эффективно и дают лучшие результаты в реальных сценариях применения.

Практические аспекты согласованности оценок экспертов#

Вот несколько важных практических моментов, которые стоит иметь в виду при работе с несколькими экспертами для поддержания высокой согласованности оценок:

• Двусмысленные или субъективные задачи: Когда разметка включает интерпретацию (например, решение о том, является ли размытый объект пешеходом, или оценка качества изображения), наличие нескольких экспертов помогает обеспечить согласованность решений и избежать чрезмерного влияния личных предубеждений.
• Простые и объективные задачи: Простые задачи, такие как counting количества машин на изображении или подтверждение присутствия объекта, часто требуют только одного хорошо обученного эксперта, поскольку согласие обычно высокое, как только процесс четко определен.
• Четкие инструкции по разметке: Подробные, простые в исполнении инструкции снижают неопределенность при применении меток, что улучшает согласованность между экспертами. Руководства должны четко охватывать граничные случаи, чтобы предотвратить противоречивые интерпретации.
• Периодическое обучение и калибровка: Со временем даже у опытных экспертов оценки могут отклоняться. Регулярные учебные сессии и проверки калибровки помогают поддерживать последовательность и минимизировать экспериментальные ошибки.

Меры согласованности оценок экспертов#

Существует несколько способов измерения согласованности, и лучший выбор зависит от типа данных и задачи. Некоторые методы хорошо подходят для отдельных экспертов, отвечающих на простые вопросы типа «да/нет», в то время как другие разработаны для ситуаций с участием множества экспертов.

Распространенные подходы включают процент согласия, каппу Коэна, каппу Флейса и внутриклассовый коэффициент корреляции. Каждый метод измеряет уровень согласия между экспертами и учитывает вероятность того, что какое-то совпадение может произойти случайно.

Каппа Коэна и каппа Флейса#

Каппа Коэна — широко используемый метод для измерения согласованности между двумя экспертами. Он вычисляет, как часто они соглашаются друг с другом, корректируя результат с учетом возможности случайного угадывания. Значения варьируются от -1 до 1, где 1 означает идеальное согласие, а 0 означает, что согласие не лучше, чем случайный выбор.

Аналогично, каппа Фляйса используется, когда задействовано более двух экспертов. Она дает общую оценку, которая показывает, насколько согласованна группа. Оба метода используются для задач с фиксированными категориями, таких как labeling images или тегирование эмоций. Их легко рассчитать, и они поддерживаются большинством инструментов разметки.

Процент согласия и внутриклассовый коэффициент корреляции (ICC)#

Еще один способ измерения согласованности — процент согласия, который рассчитывает долю случаев, когда эксперты принимают одинаковое решение. Хотя его просто использовать, он не учитывает согласие, которое может произойти по чистой случайности.

В то же время внутриклассовый коэффициент корреляции — это более продвинутый метод, используемый для непрерывных данных или данных на основе шкал. Он измеряет, насколько согласованы оценки нескольких экспертов, и часто применяется в исследованиях, связанных с баллами, измерениями или другими типами данных помимо фиксированных категорий.

Примеры и применение согласованности оценок экспертов#

Теперь, когда у нас есть лучшее понимание того, как измерять согласованность оценок экспертов, давай разберем, как эти методы могут быть применены в реальных проектах.

Согласованность оценок экспертов в разметке медицинских изображений#

Когда дело касается medical imaging, даже незначительные различия в интерпретации могут привести к существенным изменениям в результатах. Например, радиологов часто просят выявить паттерны, которые являются едва заметными, неоднозначными или трудными для определения. Когда эти паттерны становятся обучающими данными для систем ИИ, ставки возрастают. Если эксперты размечают одно и то же сканирование по-разному, модель может выучить неправильные паттерны или вообще не научиться.

Межэкспертная согласованность помогает командам, работающим с такими данными, оценить, насколько реальны суждения экспертов. Например, в недавнем исследовании, посвященном retinal OCT scans, два эксперта разметили 500 изображений.

Согласие было высоким для четких признаков, таких как друзы (желтые отложения под сетчаткой), с показателем каппы 0,87. Но для более сложных элементов, таких как гиперрефлективные фокусы (маленькие яркие пятна на снимках сетчатки), показатель упал до 0,33. Это показывает, что более четкие, хорошо определенные признаки, как правило, дают более последовательные экспертные суждения, в то время как двусмысленные признаки оставляют больше места для интерпретации.

Рис. 3. Примеры меток для различных признаков, связанных с заболеваниями сетчатки (Source)

Наборы данных для автономных транспортных средств и согласованность оценок#

Обучение моделей ИИ для системы autonomous driving зависит от точных и согласованных меток в самых разных дорожных условиях. Разметчиков, работающих над такими проектами, обычно просят идентифицировать пешеходов, транспортные средства, дорожные знаки и разметку полосы движения, часто в условиях плохого освещения или в людных местах.

Эти решения формируют то, как модель учится реагировать в суровых реальных условиях. Согласованность оценок экспертов позволяет командам проверять, применяются ли эти метки одинаково разными аннотаторами.

Рис. 4. Обзор разногласий при разметке (Source)

За пределами согласованности оценок: другие меры обеспечения качества#

Хотя измерение межэкспертной согласованности является важнейшим шагом в создании AI solution, оно является частью более широкого процесса обеспечения качества. Вот еще несколько практик, которые могут помочь повысить качество данных в командах и проектах:

• Четкие инструкции по аннотированию: Инструкции должны точно объяснять, как применять метки, чтобы все работали по единому стандарту.
• Обучение и калибровка: Регулярные сессии помогают аннотаторам сохранять единый подход и дают им пространство для того, чтобы задавать вопросы и адаптироваться к граничным случаям.
• Постоянные проверки качества: Выборочные проверки и эталонные примеры могут помочь обнаружить ошибки на ранней стадии и поддерживать высокое качество по мере масштабирования проекта.
• Разрешение разногласий: Когда аннотаторы не согласны друг с другом, должен быть четкий процесс для пересмотра этих случаев и принятия окончательных решений.
• Разнообразный пул аннотаторов: Привлечение людей с разным опытом может уменьшить предвзятость и улучшить то, насколько хорошо набор данных представляет реальные вариации.

Основные выводы#

Согласованность оценок экспертов измеряет, насколько последовательно люди применяют метки или принимают решения. Такие методы, как каппа Коэна, каппа Флейса и ICC, помогают количественно оценить это согласие. Благодаря четким руководствам, обучению и контролю предвзятости, надежная разметка приводит к более качественным данным и лучшим результатам модели.

Присоединяйся к our community и изучай наш GitHub repository, чтобы узнать больше об ИИ. Если ты хочешь начать свой собственный проект в области vision AI, ознакомься с нашими licensing options. Ты также можешь узнать, как AI in healthcare и vision AI in retail влияют на индустрию, посетив страницы наших решений.