22 августа 2024 г.
Вы можете отслеживать успех своих инноваций в области ИИ с помощью правильных ключевых показателей эффективности и показателей производительности. Узнайте, как отслеживать и оптимизировать влияние приложений ИИ.
Ранее мы изучали, как ИИ можно использовать в различных отраслях, таких как здравоохранение, производство и туризм. Мы также рассмотрели, как ИИ может улучшить повседневные рабочие задачи, и обсудили ведущие бизнес-идеи в области ИИ. Все эти обсуждения неизбежно приводят к одному и тому же ключевому вопросу: как мы можем измерить успех таких внедрений ИИ? Это важный вопрос, потому что простого развертывания решений ИИ недостаточно. Обеспечение того, чтобы эти решения действительно приносили результаты, — вот что делает их революционными.
Мы можем измерить показатели производительности ИИ, чтобы определить, действительно ли модель ИИ эффективно повышает эффективность процессов, стимулирует инновации или решает проблемы. Сосредоточившись на правильных ключевых показателях эффективности (KPI), мы можем понять, насколько хорошо работает решение ИИ и где его можно улучшить.
В этой статье мы рассмотрим, как измерить успех внедрения ИИ с помощью наиболее релевантных KPI. Мы рассмотрим различия между бизнес-KPI и KPI производительности ИИ, рассмотрим ключевые показатели, такие как точность и полнота, и поможем вам выбрать лучшие KPI для ваших конкретных решений ИИ.
Когда вы думаете о KPI, естественно предположить, что все они связаны с бизнес-показателями, такими как рентабельность инвестиций (ROI), экономия затрат или полученный доход, особенно когда речь идет о корпоративном AI. Эти бизнес-KPI AI измеряют, как AI влияет на общий успех компании, и соответствуют более широким бизнес-целям.
Однако KPI производительности AI фокусируются на том, насколько хорошо функционирует сама система AI, используя такие показатели, как точность (accuracy), прецизионность (precision) и полнота (recall). Мы подробно рассмотрим эти показатели ниже, но, по сути, в то время как бизнес-KPI демонстрируют финансовые и стратегические преимущества AI, KPI производительности гарантируют, что модель AI эффективно выполняет свою работу.
Некоторые показатели могут фактически служить обеим целям. Например, повышение эффективности, такое как сокращение времени или ресурсов, необходимых для выполнения задачи, может быть как KPI производительности (показывая, насколько хорошо работает решение AI), так и бизнес-KPI (измеряя экономию затрат и повышение производительности). Удовлетворенность клиентов - еще один сквозной показатель. Он может отражать успех инструмента обслуживания клиентов на основе AI как с точки зрения его технических характеристик, так и с точки зрения его влияния на общие бизнес-цели.
Существует несколько общих показателей, используемых для оценки производительности модели AI. Сначала мы рассмотрим их определение и способ их расчета. Затем мы посмотрим, как эти показатели можно отслеживать.
Прецизионность (Precision) - это показатель, который измеряет, насколько точно модель AI идентифицирует истинно положительные результаты (случаи, когда модель правильно идентифицирует объект или условие, как и должна). Например, в системе распознавания лиц истинно положительный результат будет иметь место, когда система правильно распознает и идентифицирует лицо человека, которое она была обучена обнаруживать.
Чтобы рассчитать прецизионность, сначала подсчитайте количество истинно положительных результатов. Затем вы можете разделить это число на общее количество элементов, которые модель пометила как положительные. Эта сумма включает в себя как правильные идентификации, так и ошибки, которые называются ложноположительными результатами. По сути, прецизионность показывает, как часто модель оказывается права, когда утверждает, что что-то распознала.
Это особенно важно в сценариях, когда последствия ложноположительных результатов могут быть дорогостоящими или разрушительными. Например, в автоматизированном производстве высокий показатель прецизионности указывает на то, что система может более точно выявлять дефектные продукты и предотвращать ненужную утилизацию или переработку качественных изделий. Другой хороший пример - охранное наблюдение. Высокая прецизионность помогает свести к минимуму ложные тревоги и сосредоточиться только на реальных угрозах, требующих реагирования службы безопасности.
Полнота (Recall) помогает измерить способность модели AI идентифицировать все релевантные экземпляры или истинно положительные результаты в наборе данных. Проще говоря, она показывает, насколько хорошо система AI может фиксировать все фактические случаи состояния или объекта, который она предназначена для обнаружения. Полнота может быть рассчитана путем деления количества правильных обнаружений на общее количество положительных случаев, которые должны были быть обнаружены (она включает в себя как случаи, которые модель правильно идентифицировала, так и те, которые она пропустила).
Рассмотрим систему медицинской визуализации на основе AI, используемую для обнаружения рака. Полнота в этом контексте отражает процент фактических случаев рака, которые система правильно идентифицирует. Высокая полнота жизненно важна в таких сценариях, поскольку пропуск диагноза рака может привести к серьезным последствиям для лечения пациента.
Прецизионность и полнота - это две стороны одной медали, когда речь идет об оценке производительности модели AI, и они часто требуют баланса. Проблема в том, что улучшение одного показателя часто может быть достигнуто за счет другого.
Предположим, вы стремитесь к более высокой прецизионности. Модель может стать более избирательной и сможет идентифицировать только те положительные результаты, в которых она очень уверена. С другой стороны, если вы стремитесь улучшить полноту, модель может идентифицировать больше положительных результатов, но это может включать больше ложноположительных результатов и в конечном итоге снизить прецизионность.
Ключ в том, чтобы найти правильный баланс между прецизионностью и полнотой в зависимости от конкретных потребностей вашего приложения. Полезным инструментом для этого является кривая Precision-Recall, которая показывает взаимосвязь между этими двумя показателями при различных порогах. Анализируя эту кривую, вы можете определить оптимальную точку, в которой модель работает лучше всего для вашего конкретного случая использования. Понимание компромисса помогает при тонкой настройке моделей AI для оптимальной работы в соответствии с их предполагаемыми вариантами использования.
Средняя средняя точность (Mean Average Precision, mAP) - это показатель, используемый для оценки производительности моделей AI для таких задач, как обнаружение объектов, где модель должна идентифицировать и классифицировать несколько объектов на изображении. mAP дает вам единую оценку, которая показывает, насколько хорошо модель работает во всех различных категориях, которые она обучена распознавать. Давайте посмотрим, как это рассчитывается.
Область под кривой Precision-Recall дает среднюю точность (Average Precision, AP) для этого класса. AP измеряет, насколько точно модель делает прогнозы для конкретного класса, учитывая как прецизионность, так и полноту при различных уровнях достоверности (уровни достоверности относятся к тому, насколько модель уверена в своих прогнозах). После того как AP рассчитан для каждого класса, mAP определяется путем усреднения этих значений AP по всем классам.
mAP полезна в таких приложениях, как автономное вождение, где необходимо одновременно обнаруживать несколько объектов, таких как пешеходы, транспортные средства и дорожные знаки. Высокий показатель mAP означает, что модель стабильно хорошо работает во всех категориях, что делает ее надежной и точной в широком диапазоне сценариев.
Формулы и методы расчета ключевых показателей производительности ИИ могут показаться сложными. Однако такие инструменты, как пакет Ultralytics, могут сделать это простым и быстрым. Независимо от того, работаете ли вы над задачами обнаружения объектов, сегментации или классификации, Ultralytics предоставляет необходимые утилиты для быстрого вычисления важных метрик, таких как точность (precision), полнота (recall) и средняя точность (mean average precision, mAP).
Чтобы начать вычисление метрик производительности с помощью Ultralytics, вы можете установить пакет Ultralytics, как показано ниже.
В этом примере мы загрузим предварительно обученную модель YOLOv8 и используем ее для проверки метрик производительности, но вы можете загрузить любую из поддерживаемых моделей, предоставляемых Ultralytics. Вот как это можно сделать:
После загрузки модели вы можете выполнить валидацию на своем наборе данных. Следующий фрагмент кода поможет вам вычислить различные метрики производительности, включая точность, полноту и mAP:
Использование таких инструментов, как Ultralytics, значительно упрощает вычисление метрик производительности, поэтому вы можете тратить больше времени на улучшение своей модели и меньше времени на беспокойство о деталях процесса оценки.
При разработке вашей модели ИИ легко проверить ее производительность в контролируемой среде. Однако после развертывания модели все может стать сложнее. К счастью, существуют инструменты и лучшие практики, которые могут помочь вам отслеживать ваше решение ИИ после развертывания.
Такие инструменты, как Prometheus, Grafana и Evidently AI, предназначены для непрерывного отслеживания производительности вашей модели. Они могут предоставлять информацию в реальном времени, обнаруживать аномалии и предупреждать вас о любых потенциальных проблемах. Эти инструменты выходят за рамки традиционного мониторинга, предлагая автоматизированные, масштабируемые решения, которые адаптируются к динамичному характеру моделей ИИ в производственной среде.
Чтобы измерить успех вашей модели ИИ после развертывания, вот несколько лучших практик, которым следует следовать:
Успешное развертывание и управление решением ИИ зависит от выбора правильных KPI и поддержания их в актуальном состоянии. В целом, выбор метрик, которые подчеркивают, насколько хорошо решение ИИ работает с технической точки зрения и с точки зрения воздействия на бизнес, имеет жизненно важное значение. По мере изменения ситуации, будь то технологические достижения или изменения в вашей бизнес-стратегии, важно пересматривать и корректировать эти KPI.
Поддерживая динамичность ваших обзоров производительности, вы можете поддерживать актуальность и эффективность вашей системы ИИ. Следя за этими показателями, вы получите ценную информацию, которая поможет улучшить ваши операции. Проактивный подход гарантирует, что ваши усилия в области ИИ действительно ценны и помогают продвигать ваш бизнес вперед!
Присоединяйтесь к нашему сообществу и внедряйте инновации вместе с нами! Изучите наш репозиторий GitHub, чтобы увидеть наши достижения в области ИИ. Узнайте, как мы преобразуем такие отрасли, как производство и здравоохранение, с помощью новаторских технологий ИИ. 🚀
.webp)