Edge AI

Edge AI refers to the deployment of artificial intelligence (AI) algorithms and models directly on local hardware devices—such as smartphones, IoT sensors, drones, and connected vehicles—rather than relying on centralized cloud computing centers. This decentralized approach allows data to be processed at the source of its creation, significantly reducing the latency involved in sending information back and forth to remote servers. By executing machine learning (ML) tasks locally, devices can make instantaneous decisions, operate reliably without internet connectivity, and enhance data privacy by keeping sensitive information on the device itself.

Link to this sectionEdge AI 작동 원리#

The core of Edge AI involves running an inference engine on an embedded system. Because edge devices typically have limited battery life and computational power compared to cloud servers, the AI models must be highly efficient. Developers often employ techniques like model quantization or model pruning to compress large neural networks without sacrificing significant accuracy.

이러한 워크로드를 효율적으로 처리하기 위해 특수 하드웨어 가속기가 자주 사용됩니다. 예를 들어 로봇 공학을 위한 NVIDIA Jetson 플랫폼과 저전력 추론을 위한 Google Coral Edge TPU가 있습니다. 소프트웨어 프레임워크도 중요한 역할을 합니다. TensorRT 및 TFLite와 같은 도구는 이러한 제약이 있는 환경에 맞게 모델을 특별히 최적화하여 빠른 실시간 추론을 보장합니다.

Link to this sectionEdge AI 대 Edge Computing#

이 용어들은 종종 혼용되지만, 다음의 차이점을 구분하는 것이 도움이 됩니다:

• Edge Computing: 이는 데이터 처리 작업이 데이터 소스 근처에서 발생하는 더 넓은 물리적 인프라와 네트워크 토폴로지를 설명합니다. 이는 방정식의 "어디에서(where)"에 해당합니다.
• Edge AI: 이는 해당 인프라에서 실행되는 지능형 애플리케이션을 구체적으로 지칭합니다. 이는 "무엇을(what)"에 해당합니다. 예를 들어 보안 카메라는 에지 컴퓨팅 장치 역할을 하지만, 컴퓨터 비전(CV)을 사용하여 특정 인물을 인식할 때 Edge AI를 수행하는 것입니다.

Link to this section실제 애플리케이션 사례#

Edge AI는 중요한 시나리오에서 자율적인 의사결정을 가능하게 하여 산업을 변화시키고 있습니다:

• 자율주행 차량: 자율주행차는 매일 테라바이트 단위의 데이터를 생성합니다. 신호 지연 때문에 보행자나 장애물을 식별하기 위해 클라우드에 의존할 수 없습니다. 대신 승객의 안전을 보장하기 위해 차량 내부의 Edge AI를 사용하여 즉각적인 객체 탐지(object detection)를 수행합니다.
• 스마트 제조: Industrial IoT (IIoT) 환경에서 공장 바닥의 센서는 예측 유지보수를 위해 Edge AI를 사용합니다. 진동 및 온도 데이터를 로컬에서 분석함으로써 시스템은 이상 징후를 감지하고 장비 고장을 실시간으로 예측하여 비용이 많이 드는 가동 중단 시간을 방지합니다.
• 의료: Vision AI가 탑재된 휴대용 의료 장치는 의료 영상이나 환자의 활력 징후를 진료 현장에서 직접 분석할 수 있어, 연결성이 좋지 않은 원격지에서도 즉각적인 진단 지원을 제공합니다.

Link to this section모델을 Edge로 배포하기#

모델을 에지로 배포하는 것은 일반적으로 고성능 컴퓨팅 환경에서 모델을 학습시킨 후 ONNX 또는 OpenVINO와 같이 에지 장치와 호환되는 형식으로 내보내는 과정을 포함합니다. Ultralytics Platform은 이 워크플로우를 간소화하여 사용자가 다양한 에지 타겟을 위한 모델을 학습하고 자동으로 내보낼 수 있도록 합니다.

다음 예시는 효율성을 위해 특별히 설계된 경량 YOLO26 모델을 모바일 및 에지 배포에 적합한 형식으로 내보내는 방법을 보여줍니다.

from ultralytics import YOLO

# Load the YOLO26 Nano model, which is optimized for speed on edge devices
model = YOLO("yolo26n.pt")

# Export the model to TFLite format for deployment on Android or Raspberry Pi
# This creates a 'yolo26n.tflite' file ready for edge inference
model.export(format="tflite")

Advanced edge deployments often utilize containerization technologies like Docker to package applications, ensuring they run consistently across different device architectures, from Raspberry Pi units to industrial gateways.