Edge AI

Edge AI는 중앙 집중식 cloud computing 센터에 의존하는 대신 스마트폰, IoT 센서, 드론, 커넥티드 카 같은 로컬 하드웨어 기기에서 직접 artificial intelligence (AI) 알고리즘과 모델을 배포하는 것을 의미합니다. 이 탈중앙화된 접근 방식을 통해 데이터가 생성되는 소스에서 직접 처리되므로, 원격 서버와 정보를 주고받을 때 발생하는 지연 시간을 크게 줄일 수 있습니다. 기기에서 로컬로 machine learning (ML) 작업을 실행함으로써, 인터넷 연결 없이도 즉각적인 결정을 내리고 안정적으로 작동하며 민감한 정보를 기기 자체에 유지하여 data privacy를 강화할 수 있습니다.

Edge AI 작동 원리#

Edge AI의 핵심은 임베디드 시스템에서 inference engine을 실행하는 것입니다. 엣지 디바이스는 클라우드 서버에 비해 일반적으로 배터리 수명과 연산 능력이 제한되어 있으므로 AI 모델의 효율성이 매우 높아야 합니다. 개발자들은 상당한 정확도를 희생하지 않으면서 대규모 neural networks를 압축하기 위해 model quantization이나 model pruning 같은 기법을 자주 활용합니다.

이러한 워크로드를 효율적으로 처리하기 위해 특수 하드웨어 가속기가 자주 사용됩니다. 예를 들어 로보틱스를 위한 NVIDIA Jetson 플랫폼과 저전력 추론을 위한 Google Coral Edge TPU가 있습니다. 소프트웨어 프레임워크 또한 중요한 역할을 합니다. TensorRT 및 TFLite 같은 도구는 이러한 제약된 환경에 맞게 모델을 구체적으로 최적화하여 빠른 real-time inference를 보장합니다.

Edge AI 대 Edge Computing#

이 용어들은 종종 혼용되지만, 다음의 차이점을 구분하는 것이 도움이 됩니다:

• Edge Computing: 데이터 처리가 데이터 소스 근처에서 이루어지는 더 넓은 물리적 인프라 및 네트워크 토폴로지를 설명합니다. 이는 방정식의 "어디서(where)"에 해당합니다.
• Edge AI: 이는 해당 인프라에서 실행되는 지능형 애플리케이션을 구체적으로 나타냅니다. 이는 "무엇을(what)"에 해당합니다. 예를 들어 보안 카메라는 엣지 컴퓨팅 장치로 작동하지만, computer vision (CV)을 사용하여 특정 사람을 인식할 때 Edge AI를 수행하는 것입니다.

실제 애플리케이션 사례#

Edge AI는 중요한 시나리오에서 자율적인 의사결정을 가능하게 하여 산업을 변화시키고 있습니다:

• Autonomous Vehicles: 자율주행차는 매일 테라바이트 규모의 데이터를 생성합니다. 신호 지연 때문에 보행자나 장애물을 식별하기 위해 클라우드에 의존할 수 없습니다. 대신 승객의 안전을 보장하기 위해 온보드 Edge AI를 사용하여 즉각적인 object detection을 수행합니다.
• Smart Manufacturing: Industrial IoT (IIoT)에서 공장 바닥의 센서는 예측 유지보수를 위해 Edge AI를 사용합니다. 진동 및 온도 데이터를 로컬로 분석함으로써 시스템은 이상 징후를 감지하고 장비 고장을 실시간으로 예측하여 비용이 많이 드는 가동 중단을 방지할 수 있습니다.
• Healthcare: Vision AI가 탑재된 휴대용 의료 기기는 진료 현장에서 직접 의료 이미지나 환자의 생체 징후를 분석할 수 있으며, 연결성이 좋지 않은 원격 지역에서도 즉각적인 진단 지원을 제공합니다.

모델을 Edge로 배포하기#

모델을 엣지에 배포하는 작업은 일반적으로 고연산 환경에서 모델을 학습시킨 후 ONNX 또는 OpenVINO와 같이 엣지 디바이스와 호환되는 형식으로 내보내는 과정을 포함합니다. Ultralytics Platform은 이 워크플로를 단순화하여 사용자가 다양한 엣지 타겟을 위해 모델을 학습시키고 자동으로 내보낼 수 있도록 합니다.

다음 예제는 모바일 및 엣지 배포에 적합한 형식으로 효율성을 위해 특별히 설계된 경량 YOLO26 모델을 내보내는 방법을 보여줍니다.

from ultralytics import YOLO

# Load the YOLO26 Nano model, which is optimized for speed on edge devices
model = YOLO("yolo26n.pt")

# Export the model to TFLite format for deployment on Android or Raspberry Pi
# This creates a 'yolo26n.tflite' file ready for edge inference
model.export(format="tflite")

고급 엣지 배포에서는 Docker 같은 containerization 기술을 활용하여 애플리케이션을 패키징함으로써, Raspberry Pi 장치부터 산업용 게이트웨이에 이르기까지 다양한 디바이스 아키텍처에서 일관되게 실행되도록 보장합니다.