Scalability

スケーラビリティとは、システム、ネットワーク、またはプロセスがリソースを追加することで増大するワークロードを処理する能力を指します。Artificial Intelligence (AI)やMachine Learning (ML)の文脈において、スケーラビリティは、需要が増加してもモデルやインフラストラクチャがパフォーマンスレベルを維持できる能力を指します。この需要は通常、トレーニング中の大規模データセット、推論中の高いユーザートラフィック、あるいは計算タスクの複雑性の増大として現れます。スケーラブルなアーキテクチャであれば、computer visionモデルを単一の組み込みデバイスにデプロイする場合でも、クラウドクラスターを介して数百万件のAPIリクエストを処理する場合でも、シームレスな拡張が可能であり、高負荷時でもinference latencyが低く保たれることを保証します。

Link to this sectionAIにおけるスケーラビリティの重要性#

スケーラビリティを考慮した設計は、成功するMachine Learning Operations (MLOps)の重要な構成要素です。管理された研究環境では完璧に機能するモデルであっても、本番環境で見られる高速なデータストリームにさらされると失敗することがあります。Big Dataを効果的に管理するには、水平方向（クラスターへのマシン追加）または垂直方向（既存マシンへのRAMやGPUなどの能力追加）に拡張できるシステムが必要です。

スケーラブルなAIシステムの主な利点は以下の通りです。

• 信頼性: スケーラブルなシステムは、予期せぬトラフィックの急増時でも一貫したサービスの稼働時間を保証し、重要なアプリケーションでのクラッシュを防ぎます。
• Cost-Efficiency: Dynamic scaling allows resources to scale down during low usage periods, a feature often managed by cloud computing platforms like AWS or Google Cloud.
• 将来への適応性: スケーラブルなインフラストラクチャは、vision transformers (ViT)のようなより新しく複雑なアルゴリズムにも、ハードウェアエコシステムの完全な刷新を必要とすることなく対応します。

Link to this sectionスケーラビリティを実現するための戦略#

スケーラブルなAIソリューションの構築には、モデルアーキテクチャとデプロイインフラストラクチャの両方の最適化が含まれます。

• 分散トレーニング: トレーニングデータセットが単一のプロセッサでは大きすぎる場合、distributed trainingによってワークロードが複数のGraphics Processing Units (GPUs)に分割されます。PyTorch Distributedのようなフレームワークを使用することで、開発者は計算を並列化し、基盤モデルのトレーニングに必要な時間を大幅に短縮できます。Ultralytics Platformのようなツールは、クラウドのトレーニングリソースを自動的に管理することで、このプロセスを簡素化します。
• 効率的なモデルアーキテクチャ: スループットを向上させるには、適切なモデルアーキテクチャの選択が不可欠です。最新のUltralytics YOLO26は、従来のモデルよりも小型かつ高速に設計されており、edge AIデバイスから巨大なサーバーファームまで、多様なハードウェア全体でネイティブにスケーリング可能です。
• コンテナ化とオーケストレーション: Dockerを使用してアプリケーションをパッケージ化することで、さまざまな環境で一貫した動作を保証します。大規模なコンテナクラスターの管理には、Kubernetesがコンテナ化されたアプリケーションのデプロイ、スケーリング、管理を自動化します。
• モデルの最適化: model quantizationやpruningといった手法は、モデルのメモリフットプリントと計算コストを削減します。NVIDIA TensorRTのようなツールは推論速度をさらに加速させ、既存のハードウェア上でのスループット向上を可能にします。

Link to this sectionコード例: スケーラブルなバッチ推論#

推論時のスケーラビリティを向上させる効果的な方法の一つとして、入力を逐次処理するのではなくバッチで処理することが挙げられます。これにより、GPUの利用率が最大化され、全体的なスループットが向上します。

from ultralytics import YOLO

# Load a scalable YOLO26 model (smaller 'n' version for speed)
model = YOLO("yolo26n.pt")

# Define a batch of images (URLs or local paths)
# Processing multiple images at once leverages parallel computation
batch_images = ["https://ultralytics.com/images/bus.jpg", "https://ultralytics.com/images/zidane.jpg"]

# Run inference on the batch
results = model(batch_images)

# Print the number of detections for the first image
print(f"Detected {len(results[0].boxes)} objects in the first image.")

Link to this section実社会での応用#

スケーラビリティにより、AI技術は理論的な研究から世界規模の産業ツールへと移行することが可能になります。

• スマートマニュファクチャリング: AI in manufacturingの分野では、自動化された検査システムが高速組立ライン上で1時間に数千個のコンポーネントを分析する必要があります。スケーラブルなobject detectionシステムは、生産速度が向上しても、品質管理プロセスがボトルネックになることなく高いaccuracyを維持することを保証します。
• 小売業のレコメンデーションエンジン: 大手Eコマースプラットフォームでは、recommendation systemsを活用して、数百万件のパーソナライズされた商品提案を瞬時に提供しています。スケーラブルなインフラストラクチャにより、これらのプラットフォームはブラックフライデーのようなトラフィックが100倍に急増する大規模イベントにも、Microsoft Azureや同様のプロバイダーを通じてサーバーノードを動的にプロビジョニングすることで対応可能です。

Link to this sectionスケーラビリティと関連概念の比較#

これらはしばしば混同されて使われますが、スケーラビリティはパフォーマンスや効率とは明確に区別されます。

• スケーラビリティとパフォーマンスの比較: Performanceは通常、特定の瞬間においてシステムがどれだけ高速か、あるいは正確か（例: 1秒あたりのフレーム数）を指します。スケーラビリティは、ワークロードが増加してもそのパフォーマンスを維持できる能力を指します。
• スケーラビリティと効率の比較: 効率は、特定のタスクを完了するために使用されるリソース（例: 推論1回あたりのエネルギー消費量）を測定します。システムは効率的であってもスケーラブルではない場合（並列タスクを処理できない場合）もあれば、スケーラブルであっても非効率的である場合（成長に対応するために過剰なリソースを使用する場合）もあります。
• スケーラビリティと柔軟性の比較: 柔軟性とは、YOLO11が検出、セグメンテーション、ポーズ推定を処理するように、異なる種類のタスクをシステムが処理できることを指します。スケーラビリティは、同じタスクのより多くの処理に焦点を当てています。