Scalability

확장성(Scalability)은 리소스를 추가하여 증가하는 작업량을 처리할 수 있는 시스템, 네트워크 또는 프로세스의 능력을 의미합니다. 인공지능(AI) 및 머신러닝(ML)의 맥락에서 확장성은 수요가 증가함에 따라 성능 수준을 유지할 수 있는 모델 또는 인프라의 능력을 설명합니다. 이러한 수요는 일반적으로 학습 중 더 큰 데이터 세트, 추론 중 더 높은 사용자 트래픽, 또는 계산 작업의 복잡성 증가로 나타납니다. 확장 가능한 아키텍처는 컴퓨터 비전 모델을 단일 임베디드 장치에 배포하거나 클라우드 클러스터를 통해 수백만 개의 API 요청을 처리하는 등 원활한 확장을 가능하게 하며, 부하가 높은 상황에서도 추론 지연 시간을 낮게 유지합니다.

Link to this sectionAI에서 확장성의 중요성#

확장성을 고려한 설계는 성공적인 머신러닝 운영(MLOps)의 핵심 요소입니다. 통제된 연구 환경에서 완벽하게 작동하는 모델이라도 프로덕션 환경에서 발생하는 고속 데이터 스트림에 노출되면 실패할 수 있습니다. 빅데이터를 효과적으로 관리하려면 수평적(클러스터에 더 많은 머신 추가) 또는 수직적(기존 머신에 RAM이나 GPU와 같은 더 많은 리소스 추가)으로 확장할 수 있는 시스템이 필요합니다.

확장 가능한 AI 시스템의 주요 이점은 다음과 같습니다:

• 신뢰성: 확장 가능한 시스템은 예상치 못한 트래픽 급증 시에도 일관된 서비스 가동 시간을 보장하여 핵심 애플리케이션의 충돌을 방지합니다.
• Cost-Efficiency: Dynamic scaling allows resources to scale down during low usage periods, a feature often managed by cloud computing platforms like AWS or Google Cloud.
• 미래 대비: 확장 가능한 인프라는 하드웨어 생태계를 완전히 교체하지 않고도 비전 트랜스포머(ViT)와 같은 더 새롭고 복잡한 알고리즘을 수용할 수 있습니다.

Link to this section확장성을 달성하기 위한 전략#

확장 가능한 AI 솔루션을 만드는 것에는 모델 아키텍처와 배포 인프라를 모두 최적화하는 과정이 포함됩니다.

• 분산 학습: 학습 데이터 세트가 단일 프로세서가 감당하기에 너무 커지면 분산 학습을 통해 여러 개의 GPU에 워크로드를 분산합니다. PyTorch Distributed와 같은 프레임워크를 사용하면 개발자가 계산을 병렬화하여 파운데이션 모델 학습에 필요한 시간을 크게 단축할 수 있습니다. Ultralytics Platform과 같은 도구는 클라우드 학습 리소스를 자동으로 관리하여 이 과정을 간소화합니다.
• 효율적인 모델 아키텍처: 올바른 모델 아키텍처를 선택하는 것은 처리량 측면에서 매우 중요합니다. 최신 Ultralytics YOLO26은 이전 모델보다 더 작고 빠르게 설계되어 엣지 AI 장치부터 거대한 서버 팜에 이르기까지 다양한 하드웨어에서 기본적으로 확장 가능합니다.
• 컨테이너화 및 오케스트레이션: 애플리케이션을 Docker로 패키징하면 다양한 환경에서 일관되게 실행할 수 있습니다. 대규모 컨테이너 클러스터를 관리하기 위해 Kubernetes는 컨테이너화된 애플리케이션의 배포, 확장 및 관리를 자동화합니다.
• 모델 최적화: 모델 양자화 및 가지치기와 같은 기술은 모델의 메모리 사용량과 계산 비용을 줄여줍니다. NVIDIA TensorRT와 같은 도구는 추론 속도를 더욱 가속화하여 기존 하드웨어에서 더 높은 처리량을 가능하게 합니다.

Link to this section코드 예시: 확장 가능한 배치 추론#

추론 중 확장성을 개선하는 효과적인 방법 중 하나는 입력을 순차적으로 처리하는 대신 배치 단위로 처리하는 것입니다. 이는 GPU 활용도를 극대화하고 전반적인 처리량을 증가시킵니다.

from ultralytics import YOLO

# Load a scalable YOLO26 model (smaller 'n' version for speed)
model = YOLO("yolo26n.pt")

# Define a batch of images (URLs or local paths)
# Processing multiple images at once leverages parallel computation
batch_images = ["https://ultralytics.com/images/bus.jpg", "https://ultralytics.com/images/zidane.jpg"]

# Run inference on the batch
results = model(batch_images)

# Print the number of detections for the first image
print(f"Detected {len(results[0].boxes)} objects in the first image.")

Link to this section실제 애플리케이션 사례#

확장성은 AI 기술이 이론적인 연구에서 글로벌 산업용 도구로 전환될 수 있게 합니다.

• 스마트 제조: 제조 분야의 AI 분야에서 자동 검사 시스템은 고속 조립 라인에서 시간당 수천 개의 부품을 분석해야 합니다. 확장 가능한 객체 탐지 시스템은 생산 속도가 빨라지더라도 품질 관리 과정이 병목 현상 없이 높은 정확도를 유지하도록 보장합니다.
• 소매 추천 엔진: 주요 전자상거래 플랫폼은 추천 시스템을 활용하여 수백만 개의 개인화된 상품 제안을 즉시 제공합니다. 확장 가능한 인프라를 통해 이러한 플랫폼은 블랙 프라이데이와 같이 트래픽이 100배까지 급증할 수 있는 대규모 이벤트 시 Microsoft Azure 또는 유사한 제공업체를 통해 서버 노드를 동적으로 프로비저닝하여 대응할 수 있습니다.

Link to this section확장성과 관련 개념 비교#

종종 혼용되기도 하지만, 확장성은 성능 및 효율성과 구별되는 개념입니다.

• 확장성 vs 성능: 성능은 일반적으로 시스템이 특정 시점에 얼마나 빠르거나 정확한지(예: 초당 프레임 수)를 나타냅니다. 확장성은 워크로드가 증가함에 따라 그러한 성능을 유지할 수 있는 시스템의 능력을 설명합니다.
• 확장성 vs 효율성: 효율성은 특정 작업을 완료하는 데 사용되는 리소스를 측정합니다(예: 추론당 에너지 소비). 시스템은 효율적이지만 확장성이 부족할 수 있고(병렬 작업을 처리할 수 없는 경우), 확장성은 있지만 비효율적일 수도 있습니다(성장을 처리하기 위해 과도한 리소스를 사용하는 경우).
• 확장성 vs 유연성: 유연성은 YOLO11이 탐지, 분할, 포즈 추정을 모두 처리하는 것과 같이 시스템이 다양한 유형의 작업을 처리할 수 있게 합니다. 확장성은 특히 동일한 작업을 더 많이 처리하는 데 중점을 둡니다.