ONNX (Open Neural Network Exchange)

ONNX (Open Neural Network Exchange) 是一个开源格式，旨在表示机器学习模型，从而实现各种 AI 框架和工具之间的互操作性。它充当深度学习的通用转换器，使开发者能够在一个框架（如 PyTorch、TensorFlow 或 Scikit-learn）中构建模型，并将其无缝部署到针对推理优化的另一个环境中。通过定义一组通用的算子和标准文件格式，ONNX 消除了过去将模型从研究环境转移到生产环境时所必需的复杂、自定义转换脚本。这种灵活性对于现代 AI 工作流至关重要，因为训练可能在强大的云端 GPU 上进行，而部署目标则多种多样，例如边缘设备、手机或网页浏览器。

Link to this sectionONNX 在现代 AI 中的作用#

在 人工智能 飞速发展的背景下，研究人员和工程师经常在开发生命周期的不同阶段使用不同的工具。数据科学家可能更喜欢 PyTorch 在实验和训练方面的灵活性，而生产工程师则需要 TensorRT 或 OpenVINO 的优化性能来进行部署。如果没有统一的交换格式，在这些生态系统之间迁移模型不仅困难，而且容易出错。

ONNX 通过提供计算图的共享定义来填补这一空白。当模型导出为 ONNX 时，它会被序列化为一种以框架无关的方式捕获网络结构（层、连接）和参数（权重、偏差）的格式。这使得专门针对硬件加速调优的推理引擎（如 ONNX Runtime）能够跨多个平台高效执行模型，包括 Linux、Windows、macOS、Android 和 iOS。

Link to this section使用 ONNX 的主要优势#

采用 Open Neural Network Exchange 格式为 AI 项目提供了多项战略优势：

• 框架互操作性： 开发者可以在框架之间切换，而不会被锁定在单一的生态系统中。你可以使用易于使用的 Ultralytics Python API 训练模型，并将其导出以供 C++ 应用程序或基于 Web 的 JavaScript 环境使用。
• 硬件优化： 许多硬件制造商提供与 ONNX 交互的专用执行提供程序。这意味着单个 .onnx 文件可以使用 OpenVINO 或 CoreML 等工具在 NVIDIA GPU、Intel CPU 或移动端 NPU (Neural Processing Units) 上进行加速。
• 更快的推理： ONNX Runtime 应用图优化技术（例如节点融合和常量折叠），可以显著降低 推理延迟。这对 自动驾驶 或高速制造流水线等实时应用至关重要。
• 简化部署： 工程团队无需为每个训练框架维护单独的部署流水线，而是可以统一采用 ONNX 作为交付格式，从而精简 ModelOps 流程。

Link to this section实际应用#

ONNX 的通用性使其成为各行各业的主流工具。以下是其应用的两个具体示例：

Link to this section移动设备上的边缘 AI#

Consider a mobile application designed for real-time crop health monitoring. The model might be trained on a powerful cloud server using a large dataset of plant images. However, the app needs to run offline on a farmer's smartphone. By exporting the trained model to ONNX, developers can integrate it into the mobile app using ONNX Runtime Mobile. This allows the phone's processor to run object detection locally, identifying pests or diseases instantly without needing an internet connection.

Link to this section跨平台 Web 推理#

In e-commerce, a "virtual try-on" feature might use pose estimation to overlay clothing on a user's webcam feed. Training this model might happen in Python, but the deployment target is a web browser. Using ONNX, the model can be converted and run directly in the user's browser via ONNX Runtime Web. This utilizes the client's device capabilities (WebGL or WebAssembly) to perform computer vision tasks, ensuring a smooth, privacy-preserving experience since video data never leaves the user's computer.

Link to this section与相关术语的比较#

区分 ONNX 与其他模型格式和工具很有帮助：

• vs. TensorRT： 虽然 ONNX 是一种 交换格式，但 TensorRT 是专门针对 NVIDIA GPU 的 推理引擎 和优化器。一种常见的工作流涉及先将模型导出为 ONNX，然后将该 ONNX 文件解析为 TensorRT，以在 NVIDIA 硬件上实现最大吞吐量。
• vs. TensorFlow SavedModel： SavedModel 是 TensorFlow 的原生序列化格式。虽然它在 Google 生态系统内非常稳健，但其通用兼容性不如 ONNX。通常存在将 SavedModels 转换为 ONNX 的工具，以获得更广泛的平台支持。
• vs. CoreML： CoreML 是 Apple 用于端侧机器学习的框架。虽然两者不同，但模型经常先从 PyTorch 转换到 ONNX，然后再从 ONNX 转换到 CoreML（或直接转换），以便在 iPhone 和 iPad 上高效运行。

Link to this section使用 Ultralytics 导出到 ONNX#

Ultralytics 生态系统简化了将诸如 YOLO26 等尖端模型转换为 ONNX 格式的过程。导出功能直接内置在库中，自动处理复杂的图遍历和算子映射。

以下示例展示了如何将预训练的 YOLO26 模型导出为 ONNX 格式以进行部署：

from ultralytics import YOLO

# Load the YOLO26n model (Nano version recommended for edge deployment)
model = YOLO("yolo26n.pt")

# Export the model to ONNX format
# The 'dynamic' argument enables variable input sizes
path = model.export(format="onnx", dynamic=True)

print(f"Model exported successfully to: {path}")

一旦导出，这个 .onnx 文件即可在 Ultralytics Platform 中进行管理，或使用 ONNX Runtime 直接部署到边缘设备上，从而在几乎任何环境下都能实现高性能的计算机视觉应用。