深圳Yolo 视觉
深圳
立即加入
词汇表

可观测性

探索可观测性在人工智能和机器学习中的重要性。学习如何调试复杂系统、监控Ultralytics 性能,并深入理解模型运作机制。

可观测性指仅凭复杂系统的外部输出即可理解其内部状态的能力。在快速发展的 人工智能(AI)机器学习(ML)中,可观测性不仅限于简单的状态检查,更能深入剖析模型行为背后的成因。随着现代 深度学习(DL) 架构——例如尖端的 YOLO26——日益复杂化,常呈现"黑箱"特性。可观测性工具为这些系统开辟透明窗口,使工程团队能够调试异常行为、追溯错误根源,并确保生产环境的可靠性。

可观测性与监控

尽管可观测性与模型监控常被互换使用, 模型监控在机器学习运维(MLOps) 生命周期中具有 独特但互补的价值。

  • 模型监控 属于反应式监控,专注于"已知未知"。其涉及追踪预定义指标,例如 推理延迟、CPU 或错误率等预设指标,并与既定阈值进行比对。监控回答的是:"系统是否 健康?"
  • 可观测性具有前瞻性,能应对"未知未知"。它提供细粒度数据——日志、追踪和高基数事件——这些数据对于调查新型问题至关重要,这些问题在 训练数据 准备阶段。正如 《Google 手册》所述,可观测系统无需部署新代码即可洞悉系统行为变化,能解答核心疑问: "系统为何呈现此种运行状态?"

可观测性的三大支柱

要实现计算机视觉(CV)的真正可观测性 计算机视觉(CV) 管道中实现真正的可观察性, 系统通常依赖三类主要遥测数据:

  1. 日志带时间戳的、不可变的离散事件记录。在检测管道中,日志可能捕获输入图像的分辨率或特定 超参数调整 配置。结构化日志通常采用 JSON 格式,便于复杂查询 与分析。
  2. 指标:随时间累积测量的数值数据,例如平均 精度、内存消耗或 GPU 利用率。 诸如 PrometheusGrafana 是存储这些时间序列数据的标准工具,用于 可视化趋势。
  3. 追踪:追踪功能会追踪请求在流经各类微服务时的生命周期。对于分布式人工智能应用,诸如 OpenTelemetry 有助于绘制请求路径,突出显示 推理引擎中的 推理引擎 或网络延迟 的瓶颈。专业工具如 Jaeger 可可视化呈现 这些分布式事务。

在Python中实现可观测性

通过使用回调函数记录特定内部状态,可增强训练管道的可观察性。 以下示例演示了如何为YOLO26训练管道添加自定义回调: YOLO26 训练会话中添加自定义回调以实时监控 性能指标。

from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")


# Define a custom callback for observability
def on_train_epoch_end(trainer):
    # Access and print specific metrics at the end of each epoch
    map50 = trainer.metrics.get("metrics/mAP50(B)", 0)
    print(f"Observability Log - Epoch {trainer.epoch + 1}: mAP50 is {map50:.4f}")


# Register the callback and start training
model.add_callback("on_train_epoch_end", on_train_epoch_end)
model.train(data="coco8.yaml", epochs=3)

实际应用

可观测性对于在动态环境中部署高性能模型至关重要,该环境中 测试数据 可能无法完全匹配 真实世界条件。

  • 自动驾驶汽车:在自动驾驶汽车的发展过程中 自动驾驶汽车过程中,可观测性使工程师能够在系统脱离自动驾驶状态时精确还原系统状态。通过 关联 物体检测 输出与 传感器日志及控制指令进行关联,团队可判定制动错误是由传感器噪声、模型 预测故障还是规划模块的逻辑错误所致。
  • 医疗诊断:医疗领域的人工智能中,确保性能稳定对患者安全至关重要。可观测性工具能够detect 数据漂移 ——当模型应用于新型MRI扫描仪的图像时性能 下降。追踪记录可揭示问题源于图像 数据预处理 或输入分布 的偏移所致,从而实现快速修复而不影响 AI安全

与现代工具的集成

现代工作流通常将可观测性直接集成到训练平台中。Ultralytics平台的用户 Ultralytics 可通过内置功能 直观呈现损失曲线、系统性能及数据集分析。此外,该平台还支持与 TensorBoard TensorBoardMLflow 使数据科学家能够 在整个模型生命周期内保持严格的实验追踪与可观测性。

加入Ultralytics 社区

加入人工智能的未来。与全球创新者联系、协作和共同成长

立即加入