Обнаружение аномалий

Обнаружение аномалий — это метод, используемый в машинном обучении (ML) для выявления редких элементов, событий или наблюдений, которые вызывают подозрения, значительно отличаясь от большинства данных. Эти несоответствующие экземпляры известны как аномалии, выбросы или новинки. Основная цель состоит в том, чтобы автоматически отличать нормальные точки данных от аномальных. Эта возможность имеет решающее значение в широком спектре областей, поскольку она позволяет заблаговременно выявлять такие проблемы, как отказ оборудования, финансовое мошенничество, нарушения безопасности и медицинские проблемы. В контексте компьютерного зрения (CV) обнаружение аномалий включает в себя поиск необычных закономерностей или объектов на изображениях и видео, которые не соответствуют ожидаемому поведению.

Обнаружение аномалий и обнаружение объектов

Важно отличать обнаружение аномалий от обнаружения объектов.

• Детекция объектов: Эта задача фокусируется на идентификации и определении местоположения экземпляров известных классов объектов на изображении. Например, модель обнаружения объектов обучена находить все автомобили, пешеходов и дорожные знаки на изображении улицы. Модель знает, что она ищет, на основе предопределенных категорий в ее данных обучения.
• Обнаружение аномалий: Эта задача состоит в выявлении всего, что отклоняется от изученного определения "нормального". Во многих случаях система заранее не знает, как будет выглядеть аномалия. Например, она может быть обучена на тысячах изображений безупречных продуктов и ей поручено отмечать любой дефект, будь то царапина, вмятина или изменение цвета — типы дефектов, которые она, возможно, никогда раньше не видела.

Хотя такая модель, как Ultralytics YOLO, может быть специально обучена для выполнения версии обнаружения аномалий путем обработки определенных дефектов как объектов, фундаментальные подходы различаются. Традиционное обнаружение объектов требует примеров каждого класса, который он должен найти, тогда как многие методы обнаружения аномалий требуют только данные, представляющие нормальное состояние.

Методы обнаружения аномалий

Методы обнаружения аномалий можно разделить на категории в зависимости от наличия меток в наборе данных:

• Обучение с учителем: Этот метод требует наличия набора данных, который был помечен как «нормальные», так и «аномальные» примеры. Модель классификации обучается различать эти два типа. Этот подход очень эффективен, но ограничен необходимостью наличия большого и хорошо размеченного набора данных, который может быть трудно получить, поскольку аномалии, по определению, редки.
• Полуавтоматическое обучение: Это наиболее распространенный подход, когда модель обучается только на наборе данных нормальных примеров. Система изучает нормальные закономерности и помечает любую точку данных, которая отклоняется от этой изученной модели, как аномалию. Это очень практично для сценариев, где аномалии разнообразны и непредсказуемы.
• Обучение без учителя: Этот метод работает без каких-либо меток. Он основан на предположении, что аномалии немногочисленны и отличаются от нормальных точек данных. Алгоритмы, такие как кластеризация (например, DBSCAN) или статистические методы, используются для группировки точек данных, при этом изолированные точки или небольшие кластеры идентифицируются как аномалии. Подробный обзор различных методов можно найти в научных обзорах по этой теме, таких как «Глубокое обучение для обнаружения аномалий: обзор».

Применение в реальном мире

Обнаружение аномалий является краеугольным камнем многих интеллектуальных систем, обеспечивая критически важную информацию в различных отраслях.

1. Контроль качества производства: На сборочной линии системы компьютерного зрения могут отслеживать продукцию в режиме реального времени. Модель, обученная на изображениях идеальных изделий, может мгновенно обнаруживать дефекты, такие как трещины, смещения или отсутствующие компоненты. Эта автоматизированная проверка, часто исследуемая в интеллектуальном производстве, повышает качество и сокращает отходы гораздо эффективнее, чем ручные проверки.
2. Безопасность и наблюдение: В общественных местах или охраняемых объектах системы наблюдения на базе ИИ могут обнаруживать нештатные ситуации. Примеры включают идентификацию транспортного средства, движущегося против движения, обнаружение оставленной сумки в аэропорту или обнаружение несанкционированного доступа в запрещенную зону. Эти системы могут предоставлять оповещения в режиме реального времени сотрудникам службы безопасности.
3. ИИ в здравоохранении: Обнаружение аномалий помогает в анализе медицинских изображений, выделяя потенциально раковые клетки на сканах или выявляя нерегулярное сердцебиение по данным ЭКГ.
4. Обнаружение финансового мошенничества: Банки и финансовые учреждения используют обнаружение аномалий для мониторинга потоков транзакций и выявления закономерностей, указывающих на мошенническую деятельность, таких как те, которые можно найти в общедоступных наборах данных, таких как набор данных для обнаружения мошенничества с кредитными картами на Kaggle.
5. Кибербезопасность: Сетевой трафик отслеживается для выявления необычных закономерностей, которые могут сигнализировать о кибератаке или утечке данных. Такие организации, как Агентство по кибербезопасности и защите инфраструктуры (CISA), подчеркивают такие превентивные меры.

Инструменты и технологии

Разработка надежных систем обнаружения аномалий часто включает в себя сочетание стандартных ML-библиотек и специализированных платформ.

• Фреймворки: PyTorch и TensorFlow предоставляют основные инструменты для создания и обучения пользовательских моделей глубокого обучения.
• Библиотеки: Для задач, не связанных с компьютерным зрением, библиотеки, такие как Scikit-learn, предлагают специальный модуль для обнаружения выбросов и аномалий с различными алгоритмами.
• Платформы: Ultralytics HUB предлагает интегрированную среду, которая оптимизирует весь жизненный цикл модели, от облачного обучения до различных вариантов развертывания моделей, упрощая разработку приложений Vision AI.