Data Analytics
数据分析通过检查数据来回答问题并指导决策,涵盖从描述性报告到预测与规范性模型,以及视频分析。
数据分析是通过检查数据来回答问题并辅助决策的实践。它包括收集和清理数据、使用统计学和机器学习分析数据,以及通过报告、仪表板和数据可视化传达结果。零售商询问哪些门店上季度销售额下降,医院预测下周的入院人数,城市根据摄像头画面统计十字路口的车辆,这些都属于数据分析。
分析的四种类型#
分析通常根据所回答的问题分为不同类型,每种类型都建立在前一种类型的基础上:
- 描述性分析:发生了什么?总计、平均值、分布和趋势用于概括历史数据,是商业报告中的常见内容。
- 诊断性分析:为什么会发生?通过下钻分析、相关性分析和不同细分群体之间的比较来查找原因。
- 预测性分析:将会发生什么?统计学和机器学习模型会预测需求、客户流失或设备故障等结果。
- 处方性分析:应该采取什么措施?优化和模拟会将预测结果转化为建议行动,例如应开放多少条收银通道。
使用 scikit-learn 随附的糖尿病数据集,只需几行 pandas 和 scikit-learn 代码就能完成前三种分析。该数据集记录了 442 名患者的 10 项基线测量值,以及一年后的疾病进展评分:
from sklearn.datasets import load_diabetes
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
# 442 diabetes patients: 10 baseline measurements and a disease progression score one year later
data = load_diabetes(as_frame=True).frame
# Descriptive: how far did the disease progress?
print(f"progression: mean {data['target'].mean():.0f}, range {data['target'].min():.0f}-{data['target'].max():.0f}")
# Diagnostic: which measurements move with progression?
print(data.corr()["target"].drop("target").nlargest(3).round(2).to_dict())
# Predictive: how well do the measurements forecast progression for new patients?
X_train, X_test, y_train, y_test = train_test_split(data.drop(columns="target"), data["target"], random_state=0)
model = LinearRegression().fit(X_train, y_train)
print(f"R^2 on held-out patients: {model.score(X_test, y_test):.2f}")描述性分析得出,疾病进展评分的均值为 152,范围为 25 至 346。诊断性分析发现,体重指数与疾病进展的相关性最强(0.59),其次是血清甘油三酯指标 s5(0.57)和血压(0.44)。预测性分析显示,对于模型从未见过的患者,疾病进展的方差中有 36% 可由模型解释,即 R² 为 0.36。
分析流程#
项目从明确的问题和回答该问题的指标开始,然后从数据库、日志、传感器或摄像头中收集相关数据。数据清理和数据预处理会处理缺失值、重复数据和不一致的单位;在建模前,探索性分析会绘制分布和关系图。分析人员随后应用统计学、时间序列分析或数据挖掘算法,并连同不确定性一起报告结果。常用工具包括:用于小型问题的 SQL 和电子表格、用于分析的 pandas 和笔记本、用于大数据的 Apache Spark 等分布式引擎,以及用于仪表板的 Tableau 和 Power BI 等商业智能工具。
机器学习项目会在自己的数据和模型上执行同样的分析。训练前,类别数量和标签统计可以揭示类别不平衡和数据集偏差;训练后,混淆矩阵和逐类别指标则能显示模型在哪些类别、光照条件或物体尺寸上表现不佳。
视频分析#
计算机视觉将摄像头转化为数据分析的数据源。目标检测和目标跟踪会将每一帧转换为计数、位置和轨迹,并汇总为每小时人流量、排队管理指标(例如等待时间、每条车道的车辆数)或每个生产班次的缺陷率。商店和办公室中的人数统计与占用率分析,以及十字路口的交通管理,都基于这种将像素转换为表格的过程。
Ultralytics YOLO 的分析解决方案可以一步完成这一转换:它在视频的每一帧上运行带跟踪功能的 YOLO26 模型,并将结果绘制为实时图表。图表可以是每帧检测总数的折线图,也可以是按类别统计数量的柱状图、饼图或面积图;结果还可以写入输出视频。
数据分析与相关术语的区别#
- 数据科学:一个更广泛的领域,涵盖数据分析,也会构建模型和数据产品,例如投入生产环境运行的推荐引擎。
- 商业智能(BI):基于整理后的公司数据生成报告和仪表板,主要进行描述性和诊断性分析。
- 数据挖掘:数据分析中的模式发现环节,通过算法自动从大型数据集中寻找关联、簇和异常。










