Scalability

探索 AI 中可扩展性的重要性。了解 Ultralytics YOLO26 和 Ultralytics Platform 如何实现高效、高性能的模型部署。

可扩展性是指系统、网络或流程通过添加资源来处理不断增长的工作量的能力。在人工智能 (AI) 和机器学习 (ML) 的语境下，可扩展性描述了模型或基础设施在需求增加时保持性能水平的能力。这种需求通常表现为训练时更大的数据集、推理时更高的用户流量，或计算任务复杂度的提升。一个可扩展的架构允许无缝扩展——无论是将计算机视觉模型部署到单个嵌入式设备，还是通过云集群提供数百万次 API 请求——从而确保即使在高负载下，推理延迟依然保持在低水平。

Link to this sectionAI 中可扩展性的重要性#

为可扩展性进行设计是成功的机器学习运维 (MLOps) 的关键组成部分。一个在受控研究环境中运行良好的模型，在面对生产环境中的高速数据流时可能会失败。有效管理大数据需要系统能够水平扩展（向集群添加更多机器）或垂直扩展（为现有机器增加更多能力，如 RAM 或 GPU）。

可扩展 AI 系统的主要优势包括：

可靠性： 可扩展系统可在意外的流量激增期间确保稳定的服务正常运行时间，防止关键应用崩溃。
Cost-Efficiency: Dynamic scaling allows resources to scale down during low usage periods, a feature often managed by cloud computing platforms like AWS or Google Cloud.
面向未来： 可扩展的基础设施能够容纳更新、更复杂的算法，例如视觉 Transformer (ViT)，而无需对硬件生态系统进行彻底改造。

Link to this section实现可扩展性的策略#

创建可扩展的 AI 解决方案涉及优化模型架构和部署基础设施。

分布式训练： 当训练数据集对于单个处理器来说过大时，分布式训练会将工作负载拆分到多个图形处理器 (GPUs) 上。PyTorch Distributed 等框架允许开发者并行化计算，显著减少训练基础模型所需的时间。Ultralytics Platform 等工具通过自动管理云训练资源简化了这一流程。
高效的模型架构： 选择合适的模型架构对吞吐量至关重要。最新的 Ultralytics YOLO26 旨在比其前代产品更小、更快，使其能够原生扩展到各种硬件，从边缘 AI 设备到大型服务器群。
容器化与编排： 使用 Docker 封装应用程序可确保它们在不同环境中一致运行。为了管理大型容器集群，Kubernetes 可以自动化容器化应用的部署、扩展和管理。
模型优化： 模型量化和剪枝等技术可减少模型的内存占用和计算成本。NVIDIA TensorRT 等工具可以进一步加速推理速度，从而在现有硬件上实现更高的吞吐量。

Link to this section代码示例：可扩展的批量推理#

提高推理可扩展性的一种有效方法是批量处理输入，而不是顺序处理。这能最大化 GPU 利用率并提高整体吞吐量。

from ultralytics import YOLO

# Load a scalable YOLO26 model (smaller 'n' version for speed)
model = YOLO("yolo26n.pt")

# Define a batch of images (URLs or local paths)
# Processing multiple images at once leverages parallel computation
batch_images = ["https://ultralytics.com/images/bus.jpg", "https://ultralytics.com/images/zidane.jpg"]

# Run inference on the batch
results = model(batch_images)

# Print the number of detections for the first image
print(f"Detected {len(results[0].boxes)} objects in the first image.")

Link to this section实际应用#

可扩展性使 AI 技术能够从理论研究转向全球工业工具。

智能制造： 在制造业 AI 领域，自动化检测系统必须在高速装配线上每小时分析数千个组件。一个可扩展的目标检测系统确保随着生产速度增加，质量控制流程能保持高准确率，而不会成为瓶颈。
零售推荐引擎： 大型电子商务平台利用推荐系统即时提供数百万条个性化的产品建议。可扩展的基础设施允许这些平台通过 Microsoft Azure 或类似提供商动态配置额外的服务器节点，以应对像“黑色星期五”这样流量可能激增 100 倍的大型活动。

Link to this section可扩展性与相关概念的比较#

虽然经常交替使用，但可扩展性与性能和效率是有区别的。

可扩展性与性能： 性能通常指系统在特定时刻的速度或准确度（例如每秒帧数）。可扩展性则描述了系统在工作负载增加时维持该性能的能力。
可扩展性与效率： 效率衡量的是完成特定任务所使用的资源（例如每次推理的能耗）。一个系统可能高效但不具备可扩展性（如果它无法处理并行任务），也可能具备可扩展性但效率低下（如果它为了处理增长而使用了过多的资源）。
可扩展性与灵活性： 灵活性允许系统处理不同类型的任务，例如 YOLO11 处理检测、分割和姿态估计。可扩展性则专门关注处理更多的相同任务。