Поймите, что такое межкорреспондентская надежность, каппа Коэна, ICC, обучение по ставкам и процентное согласие. Узнайте, как эти статистические показатели обеспечивают согласованность и согласие между наблюдателями при проведении исследований и анализе данных.
Когда вы создаете модель искусственного интеллекта, качество данных так же важно, как и алгоритмы, лежащие в их основе. Когда несколько человек маркируют или анализируют одни и те же данные, неизбежно возникают разногласия. Это справедливо для многих областей, включая научные исследования, здравоохранение и образование.
В частности, в компьютерном зрении- области искусственного интеллекта, которая предполагает обучение моделей, подобных Ultralytics YOLO11, интерпретации визуальных данных, таких как изображения или видео, - маркированные примеры играют решающую роль. Если эти метки непоследовательны, модели компьютерного зрения с трудом обучаются правильным паттернам.
Межкорреспондентская надежность (Inter-rater reliability, IRR) измеряет, насколько последовательно разные люди, или маркировщики, соглашаются с заданием. Это помогает контролировать согласованность и выявлять пробелы в обучении, рекомендациях или интерпретации. Это особенно важно при обучении пользовательских моделей, когда модели ИИ строятся на основе конкретных данных для определенной цели.
В этой статье мы рассмотрим, что такое межрейтинговая надежность, как ее измерить и как повысить в реальных проектах. Давайте начнем!
Межрейтинговая надежность измеряет, насколько часто два или более человека (также известные как рейтеры) соглашаются при маркировке, оценке или рецензировании одного и того же контента. Она используется для проверки того, насколько последовательно разные оценщики используют заданные критерии. Высокое согласие между оценщиками означает, что задача хорошо определена и четко понятна.
Это понятие используется в различных областях. В зависимости от области оно известно под разными названиями, такими как межкорреспондентское согласие, межсерверная надежность или межкодерная надежность. Однако основополагающий принцип остается неизменным.
В области искусственного интеллекта межкорреспондентская надежность является ключевой частью процесса маркировки данных. Обучение моделей компьютерного зрения часто требует маркировки огромных наборов данных изображений или видеокадров, поэтому несколько разработчиков ИИ работают над одними и теми же данными вместе.
Чтобы получить точные результаты, они должны следовать одним и тем же правилам маркировки. Например, при обозначении животных все должны четко договориться о том, что считать собакой, как рисовать вокруг нее ограничительную рамку и как обозначать или игнорировать размытые объекты.
Когда люди занимаются маркировкой или оценкой данных, необходимо учитывать три основных типа надежности. Каждый из них служит разным целям в измерении степени согласованности результатов. Вот более подробный обзор каждого из них:
В совокупности эти меры помогают подтвердить, что и люди, и процессы дают стабильные и надежные результаты.
В крупномасштабных проектах Vision AI качество маркированных данных напрямую влияет на эффективность работы модели. Даже небольшие различия в том, как аннотаторы применяют рекомендации, могут внести несоответствия, которые сбивают модель с толку во время обучения. Со временем это может привести к неточным прогнозам, напрасной трате ресурсов и необходимости дорогостоящего перемаркирования.
Измерение межрейтинговой надежности помогает выявить эти проблемы на ранней стадии. Высокое согласие означает, что аннотаторы работают согласованно, создавая более чистые и надежные наборы данных. Низкое согласие сигнализирует о том, что инструкции, примеры или обучение, возможно, нуждаются в доработке, прежде чем проект будет продвигаться вперед. Обеспечив согласованную работу маркировщиков, команды смогут создавать модели ИИ, которые будут обучаться более эффективно и давать лучшие результаты в реальных приложениях.
Вот несколько основных практических соображений, которые следует иметь в виду, работая с несколькими экспертами и стремясь поддерживать высокую межрейтинговую надежность:
Существует несколько способов измерения межрейтинговой надежности, и выбор оптимального зависит от типа данных и задачи. Некоторые методы хорошо подходят для одиночных оценщиков, отвечающих на простые вопросы "да-или-нет", в то время как другие разработаны для ситуаций с участием нескольких оценщиков.
К распространенным методам относятся процентное согласие, каппа Коэна, каппа Флейсса и коэффициент внутриклассовой корреляции. Каждый метод измеряет уровень согласия между оценщиками и учитывает возможность того, что некоторое согласие может быть случайным.
Каппа Коэна - это широко используемый метод измерения межрейтинговой надежности двух оценщиков. Он рассчитывает, насколько часто они соглашаются с заданием, корректируя при этом возможность того, что некоторое согласие может быть случайным. Баллы варьируются от -1 до 1, при этом 1 означает полное согласие, а 0 - согласие не лучше, чем случайное предположение.
Аналогичным образом каппа Флейсса используется, когда в оценке участвуют более двух экспертов. Он дает общий балл, который показывает, насколько согласована группа. Оба метода используются для задач с заданными категориями, например для маркировки изображений или обозначения эмоций. Их легко рассчитать, и они поддерживаются большинством инструментов аннотирования.
Другой способ измерения межрейтинговой надежности - процентное согласие, которое рассчитывает процентное соотношение случаев, когда рейтеры принимают одинаковое решение. Хотя этот способ прост в использовании, он не учитывает совпадения, которые могут возникнуть случайно.
Между тем, коэффициент внутриклассовой корреляции - это более продвинутый метод, используемый для непрерывных или основанных на шкале данных. Он измеряет степень согласованности оценок нескольких экспертов и часто применяется в исследованиях, где используются баллы, измерения или другие типы данных, выходящие за рамки фиксированных категорий.
Теперь, когда мы лучше понимаем, как измерять межкорреспондентскую надежность, давайте рассмотрим, как эти методы могут быть использованы в реальных приложениях.
Когда речь идет о медицинской визуализации, даже незначительные различия в интерпретации могут привести к значительным изменениям в результатах. Например, радиологов часто просят выявлять тонкие, неоднозначные или трудноопределимые закономерности. Когда эти паттерны становятся обучающими данными для систем искусственного интеллекта, ставки становятся еще выше. Если эксперты по-разному обозначат один и тот же снимок, модель может выучить неправильные паттерны или вообще не научиться.
Межрейтинговая надежность помогает командам, работающим с такими данными, оценить, насколько согласованными на самом деле являются суждения экспертов. Например, в недавнем исследовании, посвященном ОКТ-сканам сетчатки, два эксперта промаркировали 500 изображений.
Согласие было высоким для таких четких признаков, как друзы (желтые отложения под сетчаткой), с коэффициентом каппа 0,87. Но для более трудноопределимых элементов, таких как гиперрефлекторные очаги (небольшие яркие пятна, видимые на сканах сетчатки), этот показатель упал до 0,33. Это говорит о том, что более четкие, хорошо определенные признаки, как правило, дают более согласованные экспертные оценки, в то время как неоднозначные оставляют больше возможностей для интерпретации.
Обучение моделей искусственного интеллекта для систем автономного вождения зависит от точных, последовательных меток в широком диапазоне дорожных условий. Аннотаторов, работающих над такими проектами, обычно просят идентифицировать пешеходов, транспортные средства, дорожные знаки и разметку полос движения, часто в условиях плохого освещения или большого скопления людей.
Эти решения определяют, как модель учится реагировать в сложных условиях реального мира. Межрейтинговая надежность позволяет командам проверять, одинаково ли применяются эти метки разными аннотаторами.
Хотя измерение межкорреспондентской надежности - важный шаг в создании ИИ-решения, это часть более широкого процесса обеспечения качества. Вот некоторые другие методы, которые помогут повысить качество данных в командах и проектах:
Межкорреспондентская надежность измеряет, насколько согласованно люди применяют ярлыки или принимают решения. Такие методы, как каппа Коэна, каппа Флисса и ICC, помогают количественно оценить это согласие. При наличии четких инструкций, обучения и контроля смещений надежные аннотации приводят к получению более надежных данных и улучшению результатов моделирования.
Присоединяйтесь к нашему сообществу и изучайте наш репозиторий GitHub, чтобы узнать больше об искусственном интеллекте. Если вы хотите начать свой собственный проект Vision AI, ознакомьтесь с нашими возможностями лицензирования. Вы также можете увидеть, как ИИ в здравоохранении и Vision AI в розничной торговле оказывают влияние, посетив страницы наших решений.
