확장성

인공 지능(AI) 및 머신 러닝(ML)에서 확장성은 데이터 볼륨 증가, 사용자 수 증가, 컴퓨팅 성능 향상 등 데이터 볼륨, 사용자 트래픽, 계산 복잡성 증가 등 증가하는 워크로드를 성능 저하 없이 처리하는 시스템의 능력 복잡성 등 증가하는 워크로드를 성능 저하 없이 처리할 수 있는 시스템 능력을 의미합니다. 확장 가능한 아키텍처는 수요가 증가함에 따라 시스템이 다음과 같이 적응할 수 있도록 보장합니다. 더 많은 리소스를 활용하거나 기존 리소스를 최적화하여 적응할 수 있습니다. 낮은 추론 지연 시간과 높은 처리량을 유지합니다. 컴퓨터 비전 모델을 단일 엣지 디바이스에 컴퓨터 비전 모델을 배포하든 단일 엣지 디바이스에 배포하든 클라우드를 통해 수백만 건의 요청을 처리하든, 확장성을 고려한 설계는 장기적인 성공의 기본입니다. 확장성을 고려한 설계는 모든 AI 애플리케이션의 장기적인 성공을 위한 기본입니다.

AI에서 확장성이 중요한 이유

확장성은 강력한 머신 러닝 운영의 초석입니다. 머신 러닝 운영(MLOps)의 초석입니다. 확장성이 없으면 프로토타이핑 단계에서 뛰어난 성능을 발휘하는 모델도 프로덕션 환경의 일반적인 고속 데이터 스트림에 노출되면 프로덕션 환경의 일반적인 고속 데이터 스트림에 노출되었을 때 실패할 수 있습니다. 효과적인 관리 빅 데이터에는 수평적 확장(머신 추가) 또는 수직적 확장 (더 많은 머신 추가) 또는 수직적(기존 머신에 더 많은 성능 추가)으로 확장할 수 있는 시스템이 필요합니다.

주요 이점:

• 신뢰성: 트래픽이 급증하는 동안 일관된 서비스 가동 시간을 보장합니다.
• 비용 효율성: 사용량이 적은 기간 동안 리소스를 축소할 수 있으며, 주로 클라우드 컴퓨팅 서비스에서 관리합니다. 클라우드 컴퓨팅 서비스.
• 미래 대비: 다음과 같이 더 새롭고 복잡한 알고리즘을 수용합니다. 변압기와 같은 새롭고 복잡한 알고리즘을 인프라를 전면 개편할 필요가 없습니다.

확장성을 달성하기 위한 전략

확장 가능한 AI 솔루션을 만들려면 모델 아키텍처와 배포 인프라를 모두 최적화해야 합니다.

• 분산 훈련: 데이터 세트가 단일 프로세서로 처리하기에는 너무 커질 경우, 분산 트레이닝은 워크로드를 워크로드를 여러 GPU 또는 TPU에 분산시킵니다. 다음과 같은 프레임워크 PyTorch Distributed와 같은 프레임워크를 사용하면 개발자는 다음과 같은 이점을 얻을 수 있습니다. 계산을 병렬화하여 트레이닝 시간을 크게 단축할 수 있습니다.
• 효율적인 모델 아키텍처: 올바른 모델을 선택하는 것이 중요합니다. Ultralytics YOLO11 은 가볍고 빠르게 설계되었습니다, 가볍고 빠르게 설계되어 엣지 AI 디바이스에서 엔터프라이즈 서버에 이르기까지 엔터프라이즈 서버에 이르기까지 다양한 하드웨어에서 확장성이 뛰어납니다.
• 컨테이너화 및 오케스트레이션: 애플리케이션 패키징 환경 전반에서 일관되게 실행되도록 보장합니다. 대규모 컨테이너 클러스터를 관리하기 위해 Kubernetes는 배포와 확장을 자동화하고 확장, 리소스 할당을 동적으로 처리합니다.
• 모델 최적화: 다음과 같은 기술 모델 양자화 및 가지 치기와 같은 기술은 모델의 메모리 사용량과 계산 메모리 공간을 줄여줍니다. 다음과 같은 도구 NVIDIA TensorRT 와 같은 도구는 추론을 가속화하여 기존 하드웨어에서 더 높은 처리량을 구현할 수 있습니다.

코드 예제: 일괄 추론

추론 중 확장성을 개선하는 간단한 방법 중 하나는 입력을 순차적으로 처리하지 않고 일괄 처리하는 것입니다. 이렇게 하면 GPU 활용도를 극대화하고 처리량을 늘릴 수 있습니다.

from ultralytics import YOLO

# Load a scalable YOLO11 model
model = YOLO("yolo11n.pt")

# Define a batch of images (URLs or local paths)
# Processing multiple images at once leverages parallel computation
batch_images = ["https://ultralytics.com/images/bus.jpg", "https://ultralytics.com/images/zidane.jpg"]

# Run inference on the batch
results = model(batch_images)

# Results contain predictions for both images
print(f"Processed {len(results)} images.")

실제 애플리케이션

확장성을 통해 AI는 연구실에서 글로벌 산업으로 전환할 수 있습니다.

• 스마트 제조: In 제조 분야의 AI는 조립 라인에서 시간당 조립 라인에서 시간당 수천 개의 부품을 검사해야 합니다. 확장 가능한 물체 감지 시스템은 생산 속도가 증가함에 따라 품질 관리 프로세스가 병목 현상 없이 병목 현상 없이 높은 정확도를 유지합니다.
• 이커머스 권장 사항: 대형 리테일 플랫폼은 추천 시스템을 사용하여 수백만 개의 개인화된 제안을 즉시 제공합니다. 이러한 플랫폼은 확장 가능한 인프라를 사용하여 트래픽이 100배 이상 급증하는 블랙 금요일과 같이 트래픽이 100배까지 급증할 수 있는 이벤트에 대응할 수 있도록 다음과 같이 추가 서버 노드를 동적으로 프로비저닝합니다. 아마존 웹 서비스(AWS).

확장성 vs. 관련 개념

관련성이 있지만 확장성은 성능 및 효율성과는 별개의 개념입니다.

• 확장성 대 성능: 성능은 일반적으로 특정 순간에 시스템이 얼마나 빠른지 또는 특정 순간에 시스템이 얼마나 정확한지(예: 초당 프레임 수)를 나타냅니다. 확장성은 부하가 증가해도 해당 성능을 유지하는 시스템의 능력을 성능을 유지할 수 있는 시스템의 능력을 나타냅니다.
• 확장성 대 효율성: 효율성은 작업을 완료하는 데 사용되는 리소스를 측정합니다(예: 에너지 소비). 시스템은 효율적이지만 확장성이 떨어지거나(병렬 작업을 더 많이 처리할 수 없는 경우), 확장 가능하지만 비효율적일 수 있습니다. 비효율적일 수 있습니다(성장을 처리하기 위해 과도한 리소스를 사용하는 경우).
• 확장성 대 유연성: 유연성을 통해 시스템은 다양한 유형의 작업(예 YOLO11 탐지 및 세분화 처리). 확장성은 특히 동일하거나 유사한 작업을 더 많이 처리하는 데 중점을 둡니다.