Continuous Batching
연속 배치 처리(continuous batching)가 GPU 처리량을 최적화하고 지연 시간을 줄이는 방법을 배우십시오. 프로덕션 ML 작업에서 효율성을 극대화하기 위해 Ultralytics YOLO26를 사용하는 방법을 발견하십시오.
Continuous batching은 machine learning (ML)에서 하드웨어 활용도와 처리량을 극대화하기 위해 사용되는 고급 스케줄링 및 인퍼런스 최적화 기법입니다. 기존의 정적 배치 방식에서는 inference engine이 사전에 정의된 수의 요청이 누적될 때까지 기다렸다가 동시에 처리합니다. 이로 인해 시스템은 리소스를 해제하기 전에 배치에서 가장 오래 실행되는 요청이 완료될 때까지 기다려야 하므로 비효율성이 발생하는 경우가 많습니다. 동적 또는 반복 수준 배치(iteration-level batching)라고도 하는 continuous batching은 활성 요청이 완료되는 즉시 컴퓨팅 배치에 새로운 요청을 주입하여 GPU의 대기 시간을 크게 줄이고 전반적인 효율성을 향상시켜 이 문제를 해결합니다.
관련 개념 구분#
모델 배포 중 데이터가 처리되는 방식을 더 잘 이해하기 위해서는 용어집에 있는 다른 관련 용어와 continuous batching을 구분하는 것이 도움이 됩니다.
- Batch Size: 이는 학습이나 인퍼런스 중에 동시에 처리되는 고정된 샘플 수를 나타냅니다. 기존 batch processing workflows는 정적 크기에 의존하는 반면, continuous batching은 유입되는 트래픽을 기반으로 유효한 배치 크기가 동적으로 변동할 수 있도록 합니다.
- Real-Time Inference: 이 개념은 단일 입력을 도착하는 대로 처리하여 즉각적인 예측을 위한 inference latency를 최소화하는 데 중점을 둡니다. Continuous batching은 빠른 요청이 느린 요청을 기다리도록 강제하지 않으면서 높은 처리량을 유지함으로써 고처리량 정적 배치와 저지연 실시간 인퍼런스 사이의 간극을 메워줍니다.
실제 애플리케이션 사례#
Continuous batching은 예측 불가능한 대량의 요청을 처리하는 프로덕션 시스템에서 매우 중요합니다. 다음은 그 적용 사례 두 가지입니다.
-
고처리량 텍스트 생성: Large Language Models (LLMs)를 서빙할 때, 서로 다른 사용자를 위한 응답 생성은 출력 길이에 따라 소요 시간이 달라집니다. Ray Serve의 vLLM과 같이 continuous batching을 활용하는 프레임워크는 새로 생성된 토큰을 지속적으로 스트리밍하고 완료된 대화를 즉시 새 프롬프트로 교체할 수 있습니다. research on iteration-level scheduling을 통해 처음 대중화된 이 방법은 텍스트 생성 처리량을 대폭 향상시킵니다.
-
비동기식 비디오 분석: 도시 교통 카메라 네트워크 전반에서 차량을 추적하는 등의 video understanding 작업에서는 프레임이 서로 다른 간격으로 도착합니다. Continuous batching을 사용하면 object tracking 모델이 리소스가 확보되는 밀리초 단위로 수신되는 비디오 프레임을 동적으로 처리하여 스마트 시티 대시보드용 hardware acceleration 파이프라인을 최적화할 수 있습니다.
비전 작업에서의 지속적 처리#
트래픽이 많은 model deployment practices을 관리할 때, 인퍼런스를 반복적으로 스트리밍하면 메모리가 차단되는 대신 점진적으로 해제되도록 보장하여 동적 배치 처리의 이점을 시뮬레이션할 수 있습니다. 다음 Python 예제는 제너레이터 패턴과 model prediction API를 사용하여 이미지의 연속 스트림을 효율적으로 처리하는 방법을 보여줍니다.
from ultralytics import YOLO
# Load the latest Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")
# Using stream=True acts as a generator, iteratively processing inputs
# to keep memory usage low and throughput high
results = model.predict(source=["img1.jpg", "img2.jpg", "img3.jpg"], stream=True)
# Process each result as soon as it completes
for result in results:
print(f"Detected {len(result.boxes)} objects in this frame.")시스템 수준의 resource scheduling을 관리하려면 원시 속도와 운영 비용 간의 균형이 필요합니다. 대규모 computer vision (CV) 및 언어 모델을 배포하는 팀은 이러한 동적 배치를 관리하기 위해 고급 서빙 프레임워크에 점점 더 의존하고 있습니다. 인프라를 간소화하려는 엔터프라이즈 팀을 위해 Ultralytics Platform은 모델을 고도로 최적화된 프로덕션 환경으로 학습, 모니터링 및 내보내기 위한 강력한 도구를 제공합니다.
