了解边缘 AI 如何在设备上实现实时、安全和高效的 AI 处理,从而改变医疗保健和自动驾驶汽车等行业。
边缘人工智能创造了一种分散的计算环境,在这种环境中 人工智能(AI)和 机器学习 (ML)算法直接在本地设备上处理,而不是依赖远程服务器。 直接在本地设备上处理,而不是依赖远程服务器。通过在源头附近执行数据处理,例如在传感器、摄像头或 传感器、摄像头或物联网网关上进行数据处理,从而大大减少了延迟和带宽使用。这种方法 对于需要 实时推理的应用至关重要、 或在互联网连接不稳定的环境中。从集中处理到边缘处理的转变使 设备做出独立决策,并通过将敏感信息 数据隐私。 在本地硬件上保留敏感信息,从而提高了数据的私密性。
在典型的边缘人工智能工作流程中,物理设备通过输入传感器收集数据。而不是将原始数据 设备使用嵌入式微处理器或专用加速器,如 嵌入式微处理器或专用加速器,如英伟达 Jetson 模块或云计算中心。 NVIDIA Jetson模块或 Google Coral EdgeTPU在本地运行 ML 模型。
为了在资源有限的设备上有效运行,模型通常需要经过优化过程。这些技术包括 模型量化和 模型剪枝等技术可减少文件大小和计算复杂度 神经网络的计算复杂度,而不会 的准确性。优化框架、 如 TensorRT和 Intel OpenVINO作为 推理引擎,在特定硬件架构上加速这些模型。 的推理引擎。
虽然这两个概念经常放在一起使用,但将它们区分开来还是很有帮助的:
边缘人工智能的部署正在通过实现自主运营和更智能的分析来改变各行各业。
将模型部署到边缘设备通常需要将训练有素的模型导出为与硬件无关的格式。在边缘设备上部署模型通常需要将训练好的模型导出为与硬件无关的格式。 ONNX (开放神经网络交换) 格式是一种允许模型在各种平台上运行的标准。
下面的示例演示了如何导出轻量级YOLO11 模型。 速度和效率:
from ultralytics import YOLO
# Load a lightweight YOLO11 nano model
model = YOLO("yolo11n.pt")
# Export the model to ONNX format for edge deployment
# The 'dynamic' argument allows for variable input sizes
model.export(format="onnx", dynamic=True)
实施边缘人工智能会遇到各种挑战,主要是与庞大的数据中心相比,边缘设备的功率和内存资源有限。 与庞大的数据中心相比,边缘设备的电力和内存资源有限。 开发人员必须在模型性能与能耗之间取得平衡,通常需要利用 高通或 Ambarella 等公司的片上系统 (SoC)设计。 高通或Ambarella 等公司的片上系统 (SoC) 设计。
展望未来,5G 网络的集成将进一步增强边缘 人工智能,提供设备协调(即蜂群智能)所需的高速连接。此外 此外,联合学习等技术允许边缘 设备协作改进全局模型,同时保持原始数据的分散性和私密性。

