Data Mining

数据挖掘是探索和分析大规模信息块，以提取有意义的模式和趋势的过程。它位于统计学、机器学习 (ML)和数据库系统的交汇处，是“数据库中的知识发现”(KDD)流程中的关键步骤。通过筛选海量原始输入，数据挖掘将非结构化噪声转化为结构化、可操作的洞察，帮助企业和研究人员做出明智决策。

在现代人工智能 (AI)的背景下，数据挖掘通常是预测建模的前置步骤。在算法能够预测未来之前，它必须先理解过去。例如，在计算机视觉 (CV)中，挖掘技术可以分析数千张图像，以识别定义特定对象类别的常见特征——例如边缘、纹理或形状——从而为训练稳健的数据集奠定基础。

数据挖掘中的关键技术#

数据挖掘依赖多种复杂的方法论来发现数据中的隐藏关系。这些技术使分析人员能够超越简单的数据汇总，进行深入探索。

• **分类：**这涉及将数据项归入预定义的组或类别。在视觉 AI 中，这类似于根据历史标注示例训练模型，使其区分“汽车”和“行人”。
• **聚类分析：**与分类不同，聚类会根据相似性对数据点进行分组，而不依赖预定义标签。这对于无监督学习至关重要，在无监督学习中，算法可以自动将客户购买行为或相似的图像纹理进行分组。你可以在Scikit-learn 文档中进一步了解聚类方法。
• **异常检测：**这种技术用于识别与正常情况存在显著偏差的数据点。它对于金融欺诈检测或发现生产线上的制造缺陷至关重要。
• **关联规则学习：**这种方法用于发现数据库中变量之间的关系。一个经典示例是购物篮分析，零售商通过它确定购买面包的客户也很可能购买黄油。
• **回归分析：**回归用于根据其他变量预测连续数值，对于预测销售趋势或估计深度估计任务中对象的距离至关重要。

实际应用#

数据挖掘的实用价值几乎覆盖所有行业，通过揭示肉眼无法发现的模式来推动效率提升和创新。

制造业与质量控制#

在智能制造中，数据挖掘用于分析机械设备的传感器数据。通过应用预测性维护算法，工厂可以在设备发生故障之前预测故障。此外，像YOLO26这样的计算机视觉模型可以生成推理日志，挖掘这些日志能够识别反复出现的缺陷类型，帮助工程师调整生产流程以减少浪费。

医疗诊断#

数据挖掘通过分析电子健康记录和医学影像，推动医疗保健领域转型。研究人员挖掘基因组数据，以发现特定基因序列与疾病之间的关联。在放射学中，挖掘大量 X 射线数据有助于识别肺炎或肿瘤等疾病的早期迹象，从而辅助医学图像分析。

区分相关术语#

要全面理解数据挖掘，最好将其与数据科学领域中密切相关的概念区分开来。

• **数据挖掘与机器学习的区别：**虽然二者存在交集，但数据挖掘侧重于发现现有模式，而机器学习侧重于利用这些模式进行学习并预测未来结果。挖掘通常是探索阶段，为 ML 模型的特征工程提供依据。
• **数据挖掘与数据可视化的区别：**可视化是数据的图形表示（图表、图形）。挖掘则是生成待可视化洞察的分析过程。Tableau等工具通常会将数据挖掘的结果进行可视化。
• **数据挖掘与数据仓储的区别：**数据仓储涉及集中存储和管理来自多个来源的大量数据。挖掘则是在这些仓储数据之上执行的过程，用于提取价值。

使用 Ultralytics 进行数据挖掘实践#

在计算机视觉工作流中，“挖掘”通常发生在分析推理结果、寻找高价值检测结果或困难边缘案例时。使用Ultralytics Platform可以简化这一过程，该平台有助于管理和分析数据集。

以下示例演示了如何使用YOLO26 模型“挖掘”图像集合，以寻找特定的高置信度检测结果。这模拟了筛选海量数据流以查找相关事件的过程。

from ultralytics import YOLO

# Load the YOLO26n model
model = YOLO("yolo26n.pt")

# List of image paths (simulating a dataset)
image_files = ["image1.jpg", "image2.jpg", "image3.jpg"]

# Run inference on the batch
results = model(image_files)

# 'Mine' the results for high-confidence 'person' detections (class 0)
high_conf_people = []
for result in results:
    # Filter boxes where class is 0 (person) and confidence > 0.8
    detections = result.boxes[(result.boxes.cls == 0) & (result.boxes.conf > 0.8)]
    if len(detections) > 0:
        high_conf_people.append(result.path)

print(f"Found high-confidence people in: {high_conf_people}")

此代码片段展示了一个基本的数据挖掘操作：筛选原始预测结果，提取感兴趣的子集——包含以高置信度识别出的人员的图像——然后可以将这些图像用于主动学习，以进一步提升模型性能。