Обнаружение аномалий

Обнаружение аномалий - это метод, используемый в машинном обучении (ML) для выявления редких элементов, событий или наблюдений, которые вызывают подозрения, поскольку значительно отличаются от большинства данных. Такие несоответствующие случаи называются аномалиями, выбросами или новинками. Главная цель - автоматически отличить нормальные точки данных от аномальных. Эта возможность крайне важна в самых разных областях, поскольку позволяет заблаговременно выявлять такие проблемы, как поломка оборудования, финансовое мошенничество, нарушение безопасности и медицинские проблемы. В контексте компьютерного зрения (CV) обнаружение аномалий подразумевает поиск необычных паттернов или объектов на изображениях и видео, которые не соответствуют ожидаемому поведению.

Обнаружение аномалий по сравнению с обнаружением объектов

Важно отличать обнаружение аномалий от обнаружения объектов.

• Обнаружение объектов: Эта задача направлена на идентификацию и определение местоположения экземпляров известных классов объектов на изображении. Например, модель обнаружения объектов обучается находить все автомобили, пешеходов и дорожные знаки на изображении с видом на улицу. Модель знает, что она ищет, на основе заранее определенных категорий в обучающих данных.
• Обнаружение аномалий: Эта задача заключается в выявлении всего, что отклоняется от заученного определения "нормального". Во многих случаях система не знает заранее, как будет выглядеть аномалия. Например, она может быть обучена на тысячах изображений безупречных продуктов и должна заметить любой изъян, будь то царапина, вмятина или обесцвечивание - типы дефектов, которые она, возможно, никогда не видела раньше.

Хотя модель, подобную Ultralytics YOLO, можно настроить на выполнение одного из вариантов обнаружения аномалий, рассматривая конкретные дефекты как объекты, фундаментальные подходы различаются. Традиционное обнаружение объектов требует примеров каждого класса, который он должен найти, в то время как многие методы обнаружения аномалий требуют только данных, представляющих нормальное состояние.

Методы обнаружения аномалий

Методы обнаружения аномалий можно разделить на категории в зависимости от наличия меток в наборе данных:

• Контролируемое обучение: Для этого метода требуется набор данных, содержащий как "нормальные", так и "аномальные" примеры. Модель классификации обучается различать их. Этот подход очень эффективен, но ограничен необходимостью иметь большой и хорошо маркированный набор данных, который бывает трудно получить, поскольку аномалии по определению редки.
• Полуподконтрольное обучение: Это наиболее распространенный подход, при котором модель обучается только на наборе нормальных примеров. Система изучает обычные модели и отмечает любую точку данных, которая отклоняется от этой модели, как аномалию. Это очень практично для сценариев, в которых аномалии разнообразны и непредсказуемы.
• Обучение без контроля: Этот метод работает без каких-либо меток. Он исходит из того, что аномалии немногочисленны и отличаются от обычных точек данных. Для группировки точек данных используются алгоритмы кластеризации (например, DBSCAN) или статистические методы, а изолированные точки или небольшие кластеры определяются как аномалии. Всесторонний обзор различных методов можно найти в научных исследованиях по этой теме, например"Deep Learning for Anomaly Detection: A Survey".

Применение в реальном мире

Обнаружение аномалий является краеугольным камнем многих интеллектуальных систем, обеспечивая критически важные сведения в различных отраслях.

1. Контроль качества производства: На сборочном конвейере системы компьютерного зрения могут контролировать продукцию в режиме реального времени. Модель, обученная на изображениях идеальных изделий, может мгновенно обнаружить такие дефекты, как трещины, несоосность или отсутствие компонентов. Такой автоматизированный контроль, часто рассматриваемый в рамках "умного производства", повышает качество и сокращает количество отходов гораздо эффективнее, чем ручные проверки.
2. Безопасность и наблюдение: В общественных местах или на охраняемых объектах системы наблюдения на базе ИИ могут обнаруживать аномальные события. В качестве примера можно привести идентификацию автомобиля, движущегося против движения, обнаружение брошенной сумки в аэропорту или несанкционированный доступ в закрытую зону. Такие системы могут в режиме реального времени оповещать сотрудников службы безопасности.
3. ИИ в здравоохранении: Обнаружение аномалий помогает в анализе медицинских изображений, выделяя потенциально раковые клетки на снимках или определяя нерегулярные удары сердца по данным ЭКГ.
4. Обнаружение финансового мошенничества: Банки и финансовые учреждения используют обнаружение аномалий для мониторинга потоков транзакций и выявления закономерностей, указывающих на мошеннические действия, например, в публичных наборах данных, таких как набор данных Credit Card Fraud Detection на Kaggle.
5. Кибербезопасность: Сетевой трафик отслеживается для выявления необычных закономерностей, которые могут сигнализировать о кибератаке или утечке данных. Такие организации, как Агентство кибербезопасности и защиты инфраструктуры (CISA), уделяют особое внимание подобным проактивным мерам.

Инструменты и технологии

Разработка надежных систем обнаружения аномалий часто предполагает использование стандартных библиотек ML и специализированных платформ.

• Фреймворки: PyTorch и TensorFlow предоставляют базовые инструменты для создания и обучения пользовательских моделей глубокого обучения.
• Библиотеки: Для задач, не связанных с визуализацией, такие библиотеки, как Scikit-learn, предлагают специальный модуль для обнаружения выбросов и аномалий с помощью различных алгоритмов.
• Платформы: Ultralytics HUB предлагает интегрированную среду, которая упрощает весь жизненный цикл модели, от обучения в облаке до различных вариантов развертывания модели, упрощая разработку приложений Vision AI.