Edge AI

边缘 AI 是指将人工智能 (AI)算法和模型直接部署在本地硬件设备上，例如智能手机、物联网传感器、无人机和联网车辆，而不是依赖集中式云计算中心。这种去中心化方法使数据能够在其生成源头进行处理，大幅降低向远程服务器来回发送信息所产生的延迟。通过在本地执行机器学习 (ML)任务，设备可以即时做出决策，在没有互联网连接的情况下可靠运行，并通过将敏感信息保留在设备本身来增强数据隐私。

边缘 AI 的工作原理#

边缘 AI 的核心是在嵌入式系统上运行推理引擎。与云服务器相比，边缘设备通常具有更有限的电池续航和计算能力，因此 AI 模型必须具备很高的效率。开发者通常会采用模型量化或模型剪枝等技术，在不明显牺牲准确率的情况下压缩大型神经网络。

人们经常使用专用硬件加速器来高效处理这些工作负载。例如，用于机器人技术的 NVIDIA Jetson 平台，以及用于低功耗推理的 Google Coral Edge TPU。软件框架同样发挥着重要作用；TensorRT 和 TFLite 等工具会针对这些受限环境专门优化模型，确保快速进行实时推理。

边缘 AI 与边缘计算#

虽然这两个术语经常互换使用，但区分它们会很有帮助：

• 边缘计算： 这描述了数据处理在数据源附近进行时所依托的更广泛物理基础设施和网络拓扑。它代表整个概念中的“位置”。
• 边缘 AI： 这特指运行在该基础设施上的智能应用。它代表整个概念中的“内容”。例如，安全摄像头充当边缘计算设备，但当它使用计算机视觉 (CV)来识别特定人员时，它执行的就是边缘 AI。

实际应用#

边缘 AI 通过支持关键场景中的自主决策，正在改变各个行业：

• 自动驾驶车辆： 自动驾驶汽车每天会生成数 TB 的数据。由于信号延迟，它们无法依赖云端来识别行人或障碍物。相反，它们使用车载边缘 AI 即时执行目标检测，确保乘客安全。
• 智能制造： 在工业物联网 (IIoT)中，工厂车间的传感器使用边缘 AI 进行预测性维护。通过在本地分析振动和温度数据，系统可以检测异常并实时预测设备故障，从而避免代价高昂的停机。
• 医疗保健： 配备视觉 AI的便携式医疗设备可以直接在护理现场分析医学影像或患者生命体征，为网络连接不佳的偏远地区提供即时诊断支持。

将模型部署到边缘侧#

将模型部署到边缘通常需要先在高算力环境中训练模型，然后将其导出为与边缘设备兼容的格式，例如 ONNX 或 OpenVINO。Ultralytics Platform 简化了这一工作流程，允许用户训练模型，并自动将其导出到各种边缘目标平台。

以下示例演示了如何将专为高效运行而设计的轻量级 YOLO26 模型导出为适用于移动端和边缘部署的格式。

from ultralytics import YOLO

# Load the YOLO26 Nano model, which is optimized for speed on edge devices
model = YOLO("yolo26n.pt")

# Export the model to TFLite format for deployment on Android or Raspberry Pi
# This creates a 'yolo26n.tflite' file ready for edge inference
model.export(format="tflite")

高级边缘部署通常会采用容器化技术，例如使用 Docker 打包应用，从而确保应用在不同设备架构上保持一致运行，覆盖从 Raspberry Pi 设备到工业网关的各种平台。