Оценка эффективности ИИ для анализа влияния твоих инноваций

Ранее мы рассматривали, как AI можно использовать в различных отраслях, таких как здравоохранение, производство и туризм. Мы также изучали, как AI может улучшить повседневные рабочие задачи, и обсуждали перспективные бизнес-идеи на основе AI. Все эти обсуждения неизбежно приводят к одному ключевому вопросу: как измерить успешность таких внедрений AI? Это важный вопрос, потому что просто развернуть решения на основе AI недостаточно. Именно подтверждение того, что эти решения действительно дают результаты, делает их способными кардинально изменить ситуацию.

Мы можем измерять метрики эффективности AI, чтобы определить, действительно ли модель AI помогает сделать процессы эффективнее, стимулировать инновации или решать проблемы. Сосредоточившись на правильных ключевых показателях эффективности (KPIs), мы можем понять, насколько хорошо работает решение на основе AI и где оно, возможно, нуждается в улучшении.

В этой статье мы рассмотрим, как измерять успешность внедрений AI с помощью наиболее релевантных KPIs. Мы разберём различия между бизнес-KPIs и KPIs эффективности AI, рассмотрим ключевые метрики, такие как precision и recall, и поможем тебе выбрать лучшие KPIs для конкретных решений на основе AI.

Разница между бизнес-KPIs AI и KPIs эффективности AI#

Рис. 1. Сравнение бизнес-KPIs AI и KPIs эффективности AI.

Когда речь заходит о KPIs, естественно предположить, что все они связаны с бизнес-метриками, такими как рентабельность инвестиций (ROI), снижение затрат или полученная выручка, особенно в контексте корпоративного AI. Эти бизнес-KPIs AI показывают, как AI влияет на общий успех компании, и согласуются с более широкими бизнес-целями.

Однако KPIs эффективности AI сосредоточены на том, насколько хорошо работает сама система AI, и используют такие метрики, как accuracy, precision и recall. Ниже мы подробно рассмотрим эти метрики, но по сути бизнес-KPIs демонстрируют финансовые и стратегические преимущества AI, а KPIs эффективности подтверждают, что модель AI эффективно выполняет свою задачу.

Некоторые метрики могут использоваться для обеих целей. Например, повышение эффективности, такое как сокращение времени или ресурсов, необходимых для выполнения задачи, может быть одновременно KPI эффективности (показывающим, насколько хорошо работает решение на основе AI) и бизнес-KPI (измеряющим снижение затрат и рост производительности). Удовлетворённость клиентов — ещё одна метрика, применимая в обоих контекстах. Она может отражать успешность инструмента обслуживания клиентов на основе AI как с точки зрения его технической эффективности, так и с точки зрения его влияния на общие бизнес-цели.

Основные метрики эффективности AI#

Для измерения эффективности модели AI используется несколько распространённых метрик. Сначала мы рассмотрим их определения и способы расчёта. Затем разберём, как отслеживать эти метрики.

Precision#

Precision — это метрика, которая измеряет, насколько точно модель AI определяет истинно положительные результаты (случаи, когда модель правильно распознаёт объект или состояние, которое должна обнаружить). Например, в системе распознавания лиц истинно положительный результат возникает, когда система правильно распознаёт и идентифицирует лицо человека, которое она была обучена обнаруживать.

Чтобы рассчитать precision, сначала подсчитай количество истинно положительных результатов. Затем раздели его на общее количество объектов, которые модель пометила как положительные. Это общее количество включает как правильные результаты, так и ошибки, называемые ложно положительными результатами. По сути, precision показывает, как часто модель оказывается права, когда утверждает, что что-то распознала.

Рис. 2. Понимание precision.

Эта метрика особенно важна в сценариях, где ложноположительные результаты могут привести к существенным затратам или сбоям. Например, в автоматизированном производстве высокий уровень precision показывает, что система может точнее выявлять дефектные изделия и предотвращать ненужную утилизацию или переработку качественных товаров. Ещё один хороший пример — охранное видеонаблюдение. Высокий precision помогает свести к минимуму ложные тревоги и сосредоточиться только на реальных угрозах, требующих вмешательства службы безопасности.

Recall#

Recall помогает измерить способность модели AI выявлять все релевантные случаи, или истинно положительные результаты, в наборе данных. Проще говоря, он показывает, насколько хорошо система AI может обнаружить все фактические случаи состояния или объекта, для выявления которых она предназначена. Recall рассчитывается делением количества правильных обнаружений на общее количество положительных случаев, которые должны были быть обнаружены (сюда входят как случаи, правильно выявленные моделью, так и пропущенные ею).

Рассмотрим систему медицинской визуализации на основе AI, используемую для выявления рака. В этом контексте recall отражает процент фактических случаев рака, которые система правильно обнаруживает. Высокий recall жизненно важен в таких сценариях, поскольку пропуск диагноза рака может привести к серьёзным последствиям для лечения пациента.

Precision и recall#

Когда речь идёт об оценке эффективности модели AI, precision и recall подобны двум сторонам одной медали, и между ними часто приходится искать баланс. Сложность заключается в том, что улучшение одной метрики нередко происходит за счёт другой.

Предположим, ты стремишься повысить precision. Модель может стать более избирательной и выявлять только те положительные результаты, в которых она очень уверена. С другой стороны, если ты хочешь улучшить recall, модель может обнаруживать больше положительных результатов, но среди них окажется больше ложноположительных, что в итоге снизит precision.

Главное — найти правильный баланс между precision и recall с учётом конкретных потребностей твоего приложения. Полезным инструментом для этого служит кривая Precision-Recall, которая показывает взаимосвязь между двумя метриками при разных порогах. Анализируя эту кривую, ты можешь определить оптимальную точку, в которой модель лучше всего работает для твоего конкретного сценария использования. Понимание этого компромисса помогает при тонкой настройке моделей AI для оптимальной работы в предусмотренных сценариях использования.

Рис. 3. Пример кривой Precision-Recall.

Средняя точность (mAP)#

Средняя точность (mAP) — это метрика для оценки эффективности моделей AI в таких задачах, как обнаружение объектов, где модели нужно находить и классифицировать несколько объектов на изображении. mAP даёт единый показатель, отражающий, насколько хорошо модель работает по всем категориям, распознавать которые она обучена. Давай посмотрим, как он рассчитывается.

Площадь под кривой Precision-Recall даёт Average Precision (AP) для данного класса. AP измеряет, насколько точно модель делает прогнозы для конкретного класса, учитывая precision и recall при различных уровнях уверенности (уровни уверенности показывают, насколько модель уверена в своих прогнозах). После расчёта AP для каждого класса mAP определяется усреднением этих значений AP по всем классам.

Рис. 4. Средняя точность для различных классов.

mAP полезна в таких приложениях, как автономное вождение, где одновременно нужно обнаруживать несколько объектов, например пешеходов, транспортные средства и дорожные знаки. Высокое значение mAP означает, что модель стабильно хорошо работает по всем категориям, оставаясь надёжной и точной в широком спектре сценариев.

Легко рассчитывай метрики эффективности#

Формулы и методы расчёта ключевых метрик эффективности AI могут показаться сложными. Однако такие инструменты, как пакет Ultralytics, делают этот процесс простым и быстрым. Работаешь ли ты над задачами обнаружения объектов, сегментации или классификации, Ultralytics предоставляет необходимые утилиты для быстрого вычисления важных метрик, таких как precision, recall и средняя точность (mAP).

Чтобы начать рассчитывать метрики эффективности с помощью Ultralytics, установи пакет Ultralytics, как показано ниже.

В этом примере мы загрузим предобученную модель YOLOv8 и используем её для проверки метрик эффективности, но ты можешь загрузить любую из поддерживаемых моделей, предоставляемых Ultralytics. Вот как это сделать:

После загрузки модели ты можешь выполнить валидацию на своём наборе данных. Следующий фрагмент кода поможет вычислить различные метрики эффективности, включая precision, recall и mAP:

Использование таких инструментов, как Ultralytics, значительно упрощает расчёт метрик эффективности, поэтому ты можешь тратить больше времени на улучшение модели и меньше — на детали процесса оценки.

Как измеряется эффективность AI после развёртывания?#

При разработке модели AI легко тестировать её эффективность в контролируемых условиях. Однако после развёртывания модели всё может стать сложнее. К счастью, существуют инструменты и лучшие практики, которые помогут тебе отслеживать решение на основе AI после развёртывания.

Такие инструменты, как Prometheus, Grafana и Evidently AI, предназначены для непрерывного отслеживания эффективности модели. Они предоставляют аналитические данные в реальном времени, обнаруживают аномалии и предупреждают о потенциальных проблемах. Эти инструменты выходят за рамки традиционного мониторинга, предлагая автоматизированные и масштабируемые решения, адаптирующиеся к динамичной природе моделей AI в рабочей среде.

Чтобы измерить успешность модели AI после развёртывания, следуй этим лучшим практикам:

• Определи чёткие метрики эффективности: выбери ключевые метрики, такие как accuracy, precision и время отклика, чтобы регулярно проверять, насколько хорошо работает твоя модель.
• Регулярно проверяй смещение данных: следи за изменениями в данных, с которыми работает твоя модель, поскольку при неправильном управлении ими это может повлиять на её прогнозы.
• Проводи A/B-тестирование: используй тестирование A/B, чтобы сравнивать эффективность текущей модели с новыми версиями или изменениями. Это позволит тебе количественно оценивать улучшения или ухудшения в поведении модели.
• Документируй и проверяй эффективность: храни подробные журналы метрик эффективности и изменений, внесённых в систему AI. Это крайне важно для аудитов, соответствия требованиям и постепенного улучшения архитектуры модели.

Выбор оптимальных KPIs для AI — лишь начало#

Успешное развёртывание и управление решением на основе AI зависят от выбора правильных KPIs и поддержания их актуальности. В целом важно выбирать метрики, которые показывают, насколько хорошо решение на основе AI работает с технической точки зрения и с точки зрения влияния на бизнес. По мере изменений — будь то технологический прогресс или смена бизнес-стратегии — важно пересматривать и корректировать эти KPIs.

Поддерживая динамичный подход к оценке эффективности, ты можешь сохранять актуальность и результативность своей системы AI. Регулярно отслеживая эти метрики, ты получишь ценные сведения, которые помогут улучшить рабочие процессы. Проактивный подход гарантирует, что твои усилия в области AI действительно приносят пользу и помогают развивать бизнес!

Присоединяйся к нашему сообществу и внедряй инновации вместе с нами! Изучи наш репозиторий на GitHub, чтобы узнать о наших достижениях в области AI. Узнай, как мы меняем такие отрасли, как производство и здравоохранение, с помощью передовых технологий AI. 🚀