Data Mining

Интеллектуальный анализ данных — это процесс исследования и анализа больших массивов информации для выявления значимых закономерностей и тенденций. Он находится на пересечении статистики, машинного обучения (ML) и систем баз данных, выступая важным этапом конвейера «Обнаружение знаний в базах данных» (KDD). Просеивая огромные объёмы необработанных входных данных, интеллектуальный анализ данных преобразует неструктурированный шум в структурированные практические выводы, которые компании и исследователи используют для принятия обоснованных решений.

В контексте современного искусственного интеллекта (AI) интеллектуальный анализ данных часто предшествует построению прогностических моделей. Прежде чем алгоритм сможет предсказывать будущее, он должен понять прошлое. Например, в области компьютерного зрения (CV) методы интеллектуального анализа могут обрабатывать тысячи изображений, чтобы выявить общие признаки — такие как границы, текстуры или формы, — определяющие конкретный класс объектов, создавая основу для обучения надёжных датасетов.

Основные методы интеллектуального анализа данных#

Интеллектуальный анализ данных опирается на несколько сложных методологий для выявления скрытых взаимосвязей в данных. Эти методы позволяют аналитикам выйти за рамки простого обобщения данных и перейти к глубокому исследованию.

• Классификация: Этот метод заключается в распределении элементов данных по заранее определённым группам или классам. В области AI для компьютерного зрения это соответствует процессу обучения модели различать «автомобиль» и «пешехода» на основе исторических размеченных примеров.
• Кластерный анализ: В отличие от классификации, кластеризация группирует точки данных на основе сходства без заранее заданных меток. Это особенно важно для обучения без учителя, когда алгоритм может автоматически объединять модели покупательского поведения клиентов или похожие текстуры изображений. Подробнее о методах кластеризации можно узнать в документации Scikit-learn.
• Обнаружение аномалий: Этот метод выявляет точки данных, которые существенно отклоняются от нормы. Он крайне важен для обнаружения мошенничества в финансовой сфере и поиска производственных дефектов на конвейере.
• Обучение ассоциативным правилам: Этот метод выявляет взаимосвязи между переменными в базе данных. Классический пример — анализ покупательской корзины, который розничные продавцы используют, чтобы определить: покупатели, приобретающие хлеб, с высокой вероятностью купят и масло.
• Регрессионный анализ: Регрессия используется для прогнозирования непрерывного числового значения на основе других переменных и играет важную роль в прогнозировании тенденций продаж или оценке расстояния до объекта в задачах оценки глубины.

Практические применения#

Интеллектуальный анализ данных применяется практически во всех отраслях, повышая эффективность и стимулируя инновации за счёт выявления закономерностей, невидимых невооружённым глазом.

Производство и контроль качества#

В умном производстве интеллектуальный анализ данных используется для анализа данных с датчиков оборудования. Применяя алгоритмы прогнозного обслуживания, заводы могут предсказывать отказы оборудования до их возникновения. Кроме того, модели компьютерного зрения, такие как YOLO26, могут генерировать журналы инференса, которые анализируются для выявления повторяющихся типов дефектов, помогая инженерам корректировать производственные процессы и сокращать отходы.

Медицинская диагностика#

Интеллектуальный анализ данных преобразует сферу здравоохранения, позволяя анализировать электронные медицинские карты и медицинские изображения. Исследователи анализируют геномные данные, чтобы находить связи между определёнными последовательностями генов и заболеваниями. В радиологии анализ больших датасетов рентгеновских снимков помогает выявлять ранние признаки таких состояний, как пневмония или опухоли, что способствует анализу медицинских изображений.

Различия между связанными терминами#

Чтобы полностью понять интеллектуальный анализ данных, полезно отличать его от близких понятий в области data science.

• Интеллектуальный анализ данных и машинное обучение: Хотя эти понятия пересекаются, интеллектуальный анализ данных сосредоточен на обнаружении существующих закономерностей, тогда как машинное обучение — на использовании этих закономерностей для обучения и прогнозирования будущих результатов. Анализ данных часто представляет собой исследовательский этап, на основе которого выполняется конструирование признаков для моделей ML.
• Интеллектуальный анализ данных и визуализация данных: Визуализация — это графическое представление данных (диаграммы, графики). Интеллектуальный анализ — аналитический процесс, который формирует выводы для последующей визуализации. Такие инструменты, как Tableau, часто визуализируют результаты интеллектуального анализа данных.
• Интеллектуальный анализ данных и хранилища данных: Хранилища данных обеспечивают централизованное хранение и управление большими объёмами данных из нескольких источников. Интеллектуальный анализ выполняется над данными, помещёнными в такое хранилище, чтобы извлечь из них ценность.

Практическое применение интеллектуального анализа данных с Ultralytics#

В рабочем процессе компьютерного зрения «анализ» часто выполняется при изучении результатов инференса для поиска ценных обнаружений или сложных пограничных случаев. Этот процесс упрощается с помощью платформы Ultralytics, которая помогает управлять датасетами и анализировать их.

В следующем примере показано, как «анализировать» коллекцию изображений, чтобы найти конкретные обнаружения с высокой уверенностью с помощью модели YOLO26. Это имитирует процесс фильтрации огромных потоков данных для поиска релевантных событий.

from ultralytics import YOLO

# Load the YOLO26n model
model = YOLO("yolo26n.pt")

# List of image paths (simulating a dataset)
image_files = ["image1.jpg", "image2.jpg", "image3.jpg"]

# Run inference on the batch
results = model(image_files)

# 'Mine' the results for high-confidence 'person' detections (class 0)
high_conf_people = []
for result in results:
    # Filter boxes where class is 0 (person) and confidence > 0.8
    detections = result.boxes[(result.boxes.cls == 0) & (result.boxes.conf > 0.8)]
    if len(detections) > 0:
        high_conf_people.append(result.path)

print(f"Found high-confidence people in: {high_conf_people}")

Этот фрагмент демонстрирует базовую операцию интеллектуального анализа: фильтрацию необработанных предсказаний для извлечения интересующего подмножества — изображений с людьми, обнаруженными с высокой уверенностью, — которое затем можно использовать для активного обучения, чтобы дополнительно повысить производительность модели.