Cloud Computing

클라우드 컴퓨팅은 서버, 스토리지, 데이터베이스, 네트워킹, GPU, 완전한 소프트웨어 애플리케이션을 비롯한 컴퓨팅 리소스를 인터넷을 통해 공급자의 데이터 센터에서 온디맨드로 제공하고 사용량에 따라 비용을 청구하는 방식입니다. 미국 국립표준기술연구소는 2011년 NIST SP 800-145에서 온디맨드 셀프서비스, 광범위한 네트워크 액세스, 다수 고객 간 리소스 풀링, 신속한 탄력성, 측정 가능한 서비스라는 다섯 가지 필수 특성으로 이를 정의했습니다. Amazon Web Services는 2006년에 S3 스토리지와 EC2 컴퓨팅 서비스를 출시했으며, 현재 AWS, Microsoft Azure, Google Cloud가 최대 규모의 공급자입니다. 인공지능 분야에서 클라우드는 값비싼 가속기를 오후 동안 빌릴 수 있는 리소스로 바꾸어, 대부분의 팀이 데이터 센터를 소유하지 않고도 대규모 모델을 학습할 수 있도록 합니다.

서비스 및 배포 모델#

서비스 모델은 공급자가 스택의 어느 부분까지 관리하는지에 따라 달라집니다:

• 서비스형 인프라(IaaS): 가상 머신, 블록 스토리지, 네트워크를 제공하며, 고객이 운영체제, 드라이버, 소프트웨어를 관리합니다. Amazon EC2 P5 인스턴스와 같은 GPU 가상 머신이 IaaS에 해당합니다.
• 서비스형 플랫폼(PaaS): 관리형 런타임, 데이터베이스, Kubernetes 클러스터를 제공하며, 고객은 코드를 배포하고 공급자는 서버와 패치를 관리합니다. Amazon SageMaker, Google Vertex AI, Azure Machine Learning과 같은 관리형 ML 플랫폼은 여기에 학습 작업과 모델 엔드포인트를 추가합니다.
• 서버리스 컴퓨팅: 요청마다 시작되고 유휴 상태에서는 규모가 0으로 축소되며 요청 및 실행 시간별로 요금이 부과되는 함수 또는 컨테이너입니다. 이 방식은 서버를 완전히 감추는 후대의 모델입니다.
• 서비스형 소프트웨어(SaaS): 고객이 운영할 필요 없이 브라우저나 API를 통해 사용하는 완전한 애플리케이션입니다.

NIST는 퍼블릭 클라우드, 한 조직을 위해 운영하는 프라이빗 클라우드, 공통 요구사항을 가진 조직들이 공유하는 커뮤니티 클라우드, 이들을 결합한 하이브리드 클라우드라는 네 가지 배포 모델도 정의합니다. 모든 모델에는 공동 책임 모델이 적용됩니다. 공급자는 물리적 데이터 센터와 가상화 계층을 보호하고, 고객은 ID, 구성, 데이터 보안을 책임집니다.

AI를 위한 클라우드 컴퓨팅#

학습은 AI 작업 중 컴퓨팅 리소스를 가장 많이 사용하는 단계입니다. 클라우드 공급자는 단일 GPU 또는 NVIDIA H100, H200, B200 가속기를 고대역폭 인터커넥트로 연결한 클러스터를 분산 학습에 대여하며, Google Cloud는 자체 TPU도 제공합니다. 유휴 용량은 더 저렴합니다. AWS 스팟 인스턴스는 온디맨드 가격보다 최대 90% 저렴하지만 2분 전에 통보하고 회수될 수 있으므로, 이를 사용하는 작업은 재개할 수 있도록 모델 가중치의 체크포인트를 자주 저장합니다.

데이터의 위치는 클라우드 비용에 영향을 줍니다. 데이터세트는 대개 데이터 레이크 형태로 구성된 객체 스토리지에 저장됩니다. 공급자는 네트워크 밖으로 나가는 데이터에 송신 요금을 부과하지만 유입 요금은 대개 무료이므로, 학습 컴퓨팅은 읽어 들이는 빅데이터와 같은 리전에서 실행되는 경향이 있습니다. 추론의 경우 Docker 컨테이너로 패키징된 모델은 모델 서빙을 위한 관리형 엔드포인트나 트래픽에 따라 복제본을 추가하거나 제거하는 Kubernetes 클러스터에서 실행됩니다. 이는 NIST 정의의 신속한 탄력성에 해당하며, 사용자와 가까운 리전을 선택하면 추론 지연 시간을 줄일 수 있습니다. 클라우드 ML 플랫폼은 실험 추적, 모델 레지스트리, 모델 모니터링을 위한 관련 MLOps 도구도 제공합니다.

Ultralytics Platform은 사용량 기반 대여 모델을 YOLO 학습에 적용합니다. 클라우드 학습은 16GB RTX 2000 Ada부터 288GB B300까지 26가지 GPU 유형을 제공하고, 실행이 실제로 사용한 GPU 시간만 청구합니다. 선택한 GPU의 용량이 부족하면 VRAM, 속도, 가격 순으로 가장 가까운 사용 가능 GPU를 제안합니다.

클라우드 컴퓨팅과 엣지 컴퓨팅 비교#

엣지 컴퓨팅은 카메라, 로봇, 게이트웨이처럼 데이터를 생성하는 기기 자체나 그 근처에서 데이터를 처리하므로 데이터 센터까지 네트워크를 왕복하지 않아도 되고 연결이 끊겨도 작동합니다. 클라우드 컴퓨팅은 학습, 대규모 배치 처리, 장기 스토리지, 수십 밀리초의 네트워크 지연을 허용할 수 있는 서비스처럼 탄력적 용량이 가장 필요한 작업을 중앙 집중식으로 처리합니다. 대부분의 컴퓨터 비전 시스템은 두 방식을 결합합니다. 클라우드 GPU에서 학습한 모델을 ONNX 또는 TensorRT와 같은 경량 형식으로 내보내 기기에서 엣지 AI로 실행합니다. 그런 다음 기기는 탐지 결과와 일부 이미지를 클라우드로 전송하며, 이 데이터는 다음 모델 버전의 학습 데이터가 됩니다.