Edge AI

엣지 AI는 데이터를 원격 데이터 센터로 보내는 대신, 스마트폰, 카메라, 차량, 로봇, 공장 게이트웨이 등 데이터를 생성하는 기기에서 또는 그 주변에서 인공지능(AI) 모델을 실행하는 방식입니다. 카메라 프레임이나 음성 클립을 촬영한 곳에서 처리하면 네트워크 왕복이 없어져 밀리초 단위로 의사결정을 내릴 수 있습니다. 연결이 끊겨도 기기가 계속 작동하고, 민감한 입력 데이터는 데이터 프라이버시를 위해 로컬에 보관되며, 원본 동영상을 클라우드로 스트리밍할 필요가 없어 대역폭을 절약합니다. 대신 메모리, 연산, 전력의 예산이 제한적이고 여러 기기에 걸쳐 모델을 업데이트하는 작업도 필요합니다.

엣지 AI의 작동 방식#

일반적으로 모델은 GPU에서 클라우드로 학습한 다음, 대상 기기에서 실행할 수 있도록 크기와 속도를 최적화합니다. 모델 양자화로 FP16 또는 INT8 형식을 사용하고, 모델 가지치기와 지식 증류를 적용해 모델을 축소합니다. 또한 내보내기를 통해 기기 내 추론 엔진이 실행할 형식으로 변환합니다. 예를 들면 NVIDIA 하드웨어의 TensorRT, Android의 LiteRT, Apple 기기의 Core ML, ARM CPU의 NCNN 등이 있습니다. 이후 기기는 로컬에서 추론을 실행하고 알림, 집계 수치 또는 짧은 클립처럼 중요한 정보만 서버로 전송합니다. 이러한 업로드 데이터는 모델 개선 과정에도 활용됩니다. 현장에서 수집한 어려운 사례에 레이블을 지정하고 모델을 재학습한 뒤, 무선으로 새 버전을 기기에 배포합니다.

엣지 AI 하드웨어#

• 신경망 처리 장치(NPU): 현재 대부분의 스마트폰 및 노트북 칩에 내장된 전용 가속기입니다. Apple의 Neural Engine과 Qualcomm의 Hexagon NPU 등이 있으며, 스마트폰의 전력 예산 안에서 양자화 모델을 실행합니다.
• NVIDIA Jetson: GPU 수준의 처리량이 필요한 로봇, 드론, 스마트 카메라를 위해 ARM CPU와 NVIDIA GPU를 결합한 임베디드 모듈입니다.
• Raspberry Pi: 저비용 단일 보드 컴퓨터로, ARM CPU 또는 추가 가속기 보드에서 소형 모델을 실행합니다.
• 마이크로컨트롤러: 수백 KB 크기의 모델을 밀리와트 수준의 전력으로 실행하는 가장 작은 장치 계층입니다.

엣지 기기에 모델 배포하기#

기기 유형별로 적합한 내보내기 형식이 다릅니다. Raspberry Pi에서는 Ultralytics가 Ultralytics YOLO26의 성능을 벤치마크한 형식 중 NCNN이 가장 빠릅니다. 한 번 내보낸 후 내보낸 폴더를 로드하면 동일한 탐지기를 해당 엔진에서 실행할 수 있습니다.

from ultralytics import YOLO

# 가장 작은 YOLO26 감지 모델을 불러옵니다.
model = YOLO("yolo26n.pt")

# ARM CPU에 최적화된 추론 프레임워크인 NCNN으로 내보냅니다
path = model.export(format="ncnn")  # creates 'yolo26n_ncnn_model/'

# 기기에서처럼 내보낸 모델로 추론을 실행합니다
ncnn_model = YOLO(path)
results = ncnn_model("https://ultralytics.com/images/bus.jpg")
results[0].save(filename="bus_ncnn.jpg")

저장된 이미지에는 NCNN 엔진이 계산한 탐지 결과가 표시됩니다. 기기용 애플리케이션은 흔히 Docker 컨테이너로 패키징하므로 동일한 이미지를 같은 종류의 여러 보드에서 실행할 수 있습니다.

엣지 AI와 관련 용어 비교#

• 엣지 컴퓨팅: 센서 판독값 필터링부터 콘텐츠 캐싱까지, 데이터가 생성된 곳 가까이에서 모든 종류의 데이터를 처리하는 광범위한 방식입니다. 엣지 AI는 머신러닝 모델을 워크로드로 삼는 엣지 컴퓨팅입니다.
• TinyML: 메모리가 KB 단위인 마이크로컨트롤러에서 실행하는 엣지 AI의 가장 작은 계층입니다.
• 연합 학습: 원시 데이터 대신 가중치 업데이트를 전송해 여러 기기에서 공유 모델을 학습합니다. 엣지 AI는 일반적으로 추론을 의미하며, 연합 학습은 동일한 기기에서 학습을 수행합니다.

엣지 AI 활용 사례#

• 자율 주행 차량: 자동차와 배송 로봇은 기기 내에서 보행자, 차량, 차선을 탐지합니다. 연결이 지연되거나 끊겨 제동이 늦어지는 상황을 허용할 수 없기 때문입니다.
• 스마트 카메라: 소매점, 교통, 보안 카메라는 로컬에서 객체 탐지를 수행하고 연속 동영상 대신 집계 수치나 알림을 전송합니다.
• 산업 검사: 생산 라인의 카메라는 밀리초 안에 결함 부품을 걸러내며, 기계의 진동 센서는 가동 중단을 일으키기 전에 이상을 감지합니다.
• 스마트폰: 스마트폰은 기기 내에서 사진을 처리하고 음성을 텍스트로 변환하며 소형 언어 모델을 실행합니다. 예를 들어 Apple Intelligence가 Apple 기기에서 실행하는 약 30억 파라미터 모델이 있으며, 앱은 Apple의 Foundation Models 프레임워크를 통해 이 모델을 사용할 수 있습니다.