Real-time Inference

실시간 추론이란 학습된 machine learning (ML) 모델이 실시간 입력 데이터를 받아 거의 즉각적으로 예측을 생성하는 프로세스를 말합니다. 데이터를 모아서 나중에 일괄적으로 수집하고 분석하는 오프라인 처리와 달리, 실시간 추론은 즉시 수행되므로 시스템이 속도와 민첩성을 가지고 환경에 대응할 수 있습니다. 이 기능은 현대 Artificial Intelligence (AI) 애플리케이션의 핵심으로, 기기가 밀리초 단위로 데이터를 인식하고 해석하며 이에 따라 조치를 취할 수 있게 해줍니다.

낮은 지연 시간의 중요성#

실시간 성능을 평가하는 주요 지표는 inference latency입니다. 이는 비디오 카메라의 프레임과 같이 데이터가 모델에 입력된 시점부터 모델이 바운딩 박스나 분류 라벨과 같은 출력을 생성할 때까지의 시간 지연을 측정합니다. 애플리케이션이 "실시간"으로 간주되려면, 지연 시간이 들어오는 데이터 스트림의 속도에 맞출 수 있을 만큼 충분히 낮아야 합니다.

예를 들어, 초당 30프레임(FPS)으로 실행되는 video understanding 작업에서는 시스템이 각 프레임을 처리하는 데 약 33밀리초의 엄격한 시간 예산을 갖습니다. 추론에 더 오랜 시간이 걸리면 시스템에 지연이 발생하여 프레임 드롭이나 응답 지연으로 이어질 수 있습니다. 이를 달성하려면 종종 GPUs나 NVIDIA Jetson과 같은 특수 Edge AI 장치를 사용한 하드웨어 가속이 필요합니다.

실시간 추론 vs. 배치 추론#

실시간 워크플로를 batch processing과 구별하는 것은 유용합니다. 두 작업 모두 예측 생성과 관련이 있지만, 그 목표와 아키텍처는 크게 다릅니다.

• 실시간 추론: 낮은 지연 시간을 우선시합니다. 데이터가 도착하는 즉시 단일 데이터 포인트(또는 매우 작은 배치)를 처리합니다. 이는 자동차가 제동하기 위해 보행자를 즉시 감지해야 하는 autonomous vehicles과 같은 대화형 애플리케이션에 필수적입니다.
• 배치 추론: 높은 처리량을 우선시합니다. 대량의 데이터를 수집하여 한 번에 처리합니다. 야간 재고 보고서 생성이나 과거 big data 트렌드 분석과 같은 비긴급 작업에 적합합니다.

실제 애플리케이션 사례#

찰나의 결정을 내리는 능력은 역동적인 환경에서의 자동화를 가능하게 함으로써 다양한 산업을 변화시켰습니다.

• 스마트 제조: AI in manufacturing 분야에서는 컨베이어 벨트 위에 설치된 카메라가 실시간 추론을 사용하여 자동화된 품질 관리를 수행합니다. object detection 모델은 고속으로 이동하는 제품의 결함이나 이물질을 즉시 식별할 수 있습니다. 이상 징후가 감지되면 시스템이 로봇 팔을 작동시켜 즉시 항목을 제거함으로써 고품질 제품만 포장 단계에 도달하도록 보장합니다.
• 감시 및 보안: 현대 보안 시스템은 주변을 모니터링하기 위해 computer vision에 의존합니다. 단순히 영상을 기록하는 대신, 이러한 카메라는 실시간 person detection 또는 face recognition을 실행하여 보안 인력에게 무단 액세스가 발생하는 즉시 경고합니다.
• 로보틱스: AI in robotics 분야에서 로봇은 복잡한 물리적 공간을 탐색하기 위해 pose estimation을 사용합니다. 창고 로봇은 장애물과 인간 작업자의 위치를 지속적으로 추론하여 안전하고 효율적으로 경로를 계획해야 합니다.

최적화 및 배포#

실시간 애플리케이션용 모델을 배포하려면 대상 하드웨어에서 효율적으로 실행되도록 최적화가 필요한 경우가 많습니다. model quantization과 같은 기법은 accuracy에 미치는 영향을 최소화하면서 메모리 사용량을 줄이고 추론 속도를 높이기 위해 모델 가중치의 정밀도를 낮춥니다(예: float32에서 int8로).

개발자는 Ultralytics Platform을 활용하여 이 프로세스를 간소화할 수 있습니다. 이 플랫폼은 학습을 단순화하고 사용자가 NVIDIA GPU용 TensorRT, Intel CPU용 OpenVINO, 모바일 배포용 TFLite와 같은 최적화된 형식으로 모델을 내보낼 수 있도록 합니다.

코드 예제#

다음 Python 스니펫은 ultralytics 라이브러리를 사용하여 웹캠 피드에서 실시간 추론을 실행하는 방법을 보여줍니다. 에지 장치에서 고속 성능을 발휘하도록 특별히 설계된 YOLO26 Nano 모델을 사용합니다.

from ultralytics import YOLO

# Load the YOLO26 Nano model, optimized for speed and real-time tasks
model = YOLO("yolo26n.pt")

# Run inference on the default webcam (source="0")
# 'stream=True' returns a generator for memory-efficient processing
# 'show=True' displays the video feed with bounding boxes in real-time
results = model.predict(source="0", stream=True, show=True)

# Iterate through the generator to process frames as they arrive
for result in results:
    # Example: Print the number of objects detected in the current frame
    print(f"Detected {len(result.boxes)} objects")