확장성

Scalability refers to the capability of a system, network, or process to handle a growing amount of work by adding resources. In the context of Artificial Intelligence (AI) and Machine Learning (ML), scalability describes a model's or infrastructure's ability to maintain performance levels as demand increases. This demand typically manifests as larger datasets during training, higher user traffic during inference, or increased complexity in computational tasks. A scalable architecture allows for seamless expansion—whether deploying a computer vision model to a single embedded device or serving millions of API requests via cloud clusters—ensuring that inference latency remains low even under heavy load.

인공지능에서 확장성의 중요성

Designing for scalability is a critical component of successful Machine Learning Operations (MLOps). A model that functions perfectly in a controlled research environment may fail when exposed to the high-velocity data streams found in production. Effectively managing Big Data requires systems that can scale horizontally (adding more machines to a cluster) or vertically (adding more power, such as RAM or GPUs, to existing machines).

확장 가능한 AI 시스템의 주요 장점은 다음과 같습니다:

• 신뢰성: 확장 가능한 시스템은 예상치 못한 트래픽 급증 시에도 일관된 서비스 가동 시간을 보장하여 중요 애플리케이션의 중단을 방지합니다.
• 비용 효율성: 동적 확장 기능은 사용량이 적은 기간 동안 리소스를 축소할 수 있게 해주며, 이는 AWS나 Google 같은 클라우드 컴퓨팅 플랫폼에서 흔히 관리되는 기능입니다.
• 미래 대비: 확장 가능한 인프라를 통해 비전 트랜스포머(ViT)와 같은 더 새롭고 복잡한 알고리즘을 하드웨어 생태계를 완전히 개편하지 않고도 수용할 수 있습니다.

확장성을 달성하기 위한 전략

확장 가능한 AI 솔루션을 만들려면 모델 아키텍처와 배포 인프라를 모두 최적화해야 합니다.

• Distributed Training: When training datasets become too large for a single processor, distributed training splits the workload across multiple Graphics Processing Units (GPUs). Frameworks like PyTorch Distributed allow developers to parallelize computations, significantly reducing the time required to train foundation models. Tools like the Ultralytics Platform simplify this process by managing cloud training resources automatically.
• 효율적인 모델 아키텍처: 적절한 모델 아키텍처 선택은 처리량에 매우 중요합니다. 최신 Ultralytics 기존 모델보다 더 작고 빠르게 설계되어 에지 AI 장치부터 대규모 서버 팜에 이르기까지 다양한 하드웨어에서 기본적으로 확장 가능합니다.
• Containerization and Orchestration: Packaging applications with Docker ensures they run consistently across different environments. For managing large clusters of containers, Kubernetes automates the deployment, scaling, and management of containerized applications.
• 모델 최적화: 모델 양자화 및 정리 같은 기법은 모델의 메모리 사용량과 계산 비용을 줄입니다. NVIDIA TensorRT 는 추론 속도를 더욱 가속화하여 기존 하드웨어에서 더 높은 처리량을 가능하게 합니다.

코드 예시: 확장 가능한 배치 추론

추론 중 확장성을 개선하는 효과적인 방법 중 하나는 입력을 순차적으로 처리하는 대신 배치 단위로 처리하는 것이다. 이는 GPU 극대화하고 전체 처리량을 증가시킨다.

from ultralytics import YOLO

# Load a scalable YOLO26 model (smaller 'n' version for speed)
model = YOLO("yolo26n.pt")

# Define a batch of images (URLs or local paths)
# Processing multiple images at once leverages parallel computation
batch_images = ["https://ultralytics.com/images/bus.jpg", "https://ultralytics.com/images/zidane.jpg"]

# Run inference on the batch
results = model(batch_images)

# Print the number of detections for the first image
print(f"Detected {len(results[0].boxes)} objects in the first image.")

실제 애플리케이션

확장성은 AI 기술이 이론적 연구에서 글로벌 산업 도구로 전환할 수 있게 합니다.

• 스마트 제조: 제조 분야의 인공지능(AI) 영역에서 자동 검사 시스템은 고속 조립 라인에서 시간당 수천 개의 부품을 분석해야 합니다. 확장 가능한 객체 탐지 시스템은 생산 속도가 증가함에 따라 품질 관리 프로세스가 병목 현상 없이 높은 정확도를 유지하도록 보장합니다.
• 소매 추천 엔진: 주요 전자상거래 플랫폼은 추천 시스템을 활용하여 수백만 건의 개인화된 제품 제안을 즉시 제공합니다. 확장 가능한 인프라를 통해 이러한 플랫폼은 트래픽이 100배 급증하는 블랙 프라이데이 같은 대규모 이벤트를 Microsoft 또는 유사 공급자를 통해 추가 서버 노드를 동적으로 프로비저닝함으로써 처리할 수 있습니다.

확장성 vs. 관련 개념

비록 종종 혼용되지만, 확장성은 성능 및 효율성과는 별개의 개념이다.

• 확장성 대 성능: 성능은 일반적으로 특정 시점에서의 시스템 속도 또는 정확도를 의미합니다(예: 초당 프레임 수). 확장성은 작업 부하가 증가함에 따라 해당 성능을 유지하는 시스템의 능력을 설명합니다.
• 확장성 대 효율성: 효율성은 특정 작업을 완료하는 데 사용되는 자원을 측정합니다 (예: 추론당 에너지 소비량). 시스템은 효율적이지만 확장성이 없을 수 있습니다(병렬 작업을 처리할 수 없는 경우), 또는 확장성은 있지만 비효율적일 수 있습니다(성장을 처리하기 위해 과도한 자원을 사용하는 경우).
• 확장성 대 유연성: 유연성은 시스템이 다양한 유형의 작업을 처리할 수 있게 합니다. 예를 들어 YOLO11 검출, 분할, 자세 추정 등을 처리합니다. 확장성은 동일한 작업을 더 많이 처리하는 데 특별히 초점을 맞춥니다.