Bảng chú giải thuật ngữ

Khả Năng Mở Rộng

Explore how scalability empowers AI systems to handle growth. Learn to optimize MLOps with [Ultralytics YOLO26](https://docs.ultralytics.com/models/yolo26/) and the [Ultralytics Platform](https://platform.ultralytics.com) for high-performance, distributed training and seamless deployment.

Scalability refers to the capability of a system, network, or process to handle a growing amount of work by adding resources. In the context of Artificial Intelligence (AI) and Machine Learning (ML), scalability describes a model's or infrastructure's ability to maintain performance levels as demand increases. This demand typically manifests as larger datasets during training, higher user traffic during inference, or increased complexity in computational tasks. A scalable architecture allows for seamless expansion—whether deploying a computer vision model to a single embedded device or serving millions of API requests via cloud clusters—ensuring that inference latency remains low even under heavy load.

Tầm quan trọng của khả năng mở rộng trong trí tuệ nhân tạo

Designing for scalability is a critical component of successful Machine Learning Operations (MLOps). A model that functions perfectly in a controlled research environment may fail when exposed to the high-velocity data streams found in production. Effectively managing Big Data requires systems that can scale horizontally (adding more machines to a cluster) or vertically (adding more power, such as RAM or GPUs, to existing machines).

Những ưu điểm chính của hệ thống AI có khả năng mở rộng bao gồm:

Độ tin cậy: Hệ thống có khả năng mở rộng đảm bảo thời gian hoạt động ổn định của dịch vụ ngay cả khi lưu lượng truy cập tăng đột biến, ngăn ngừa sự cố đối với các ứng dụng quan trọng.
Hiệu quả về chi phí: Khả năng mở rộng linh hoạt cho phép giảm quy mô tài nguyên trong thời gian sử dụng thấp, một tính năng thường được quản lý bởi các nền tảng điện toán đám mây như AWS hoặc Google Cloud .
Đảm bảo khả năng đáp ứng nhu cầu trong tương lai: Một cơ sở hạ tầng có khả năng mở rộng sẽ đáp ứng được các thuật toán mới hơn, phức tạp hơn, chẳng hạn như bộ chuyển đổi hình ảnh (ViT) , mà không cần phải đại tu hoàn toàn hệ sinh thái phần cứng.

Chiến lược để đạt được khả năng mở rộng

Việc tạo ra các giải pháp AI có khả năng mở rộng liên quan đến việc tối ưu hóa cả kiến trúc mô hình và cơ sở hạ tầng triển khai.

Distributed Training: When training datasets become too large for a single processor, distributed training splits the workload across multiple Graphics Processing Units (GPUs). Frameworks like PyTorch Distributed allow developers to parallelize computations, significantly reducing the time required to train foundation models. Tools like the Ultralytics Platform simplify this process by managing cloud training resources automatically.
Kiến trúc mô hình hiệu quả: Việc lựa chọn kiến trúc mô hình phù hợp là rất quan trọng đối với thông lượng. Ultralytics YOLO26 mới nhất được thiết kế nhỏ gọn và nhanh hơn các phiên bản trước đó, giúp nó có khả năng mở rộng tự nhiên trên nhiều phần cứng khác nhau, từ các thiết bị AI biên đến các trung tâm máy chủ khổng lồ.
Containerization and Orchestration: Packaging applications with Docker ensures they run consistently across different environments. For managing large clusters of containers, Kubernetes automates the deployment, scaling, and management of containerized applications.
Tối ưu hóa mô hình: Các kỹ thuật như lượng tử hóa và cắt tỉa mô hình giúp giảm dung lượng bộ nhớ và chi phí tính toán của mô hình. Các công cụ như NVIDIA TensorRT có thể tăng tốc độ suy luận hơn nữa, cho phép đạt được thông lượng cao hơn trên phần cứng hiện có.

Ví dụ mã: Suy luận hàng loạt có khả năng mở rộng

Một phương pháp hiệu quả để cải thiện khả năng mở rộng trong quá trình suy luận là xử lý đầu vào theo lô thay vì tuần tự. Điều này tối đa hóa... GPU và tăng hiệu suất tổng thể.

from ultralytics import YOLO

# Load a scalable YOLO26 model (smaller 'n' version for speed)
model = YOLO("yolo26n.pt")

# Define a batch of images (URLs or local paths)
# Processing multiple images at once leverages parallel computation
batch_images = ["https://ultralytics.com/images/bus.jpg", "https://ultralytics.com/images/zidane.jpg"]

# Run inference on the batch
results = model(batch_images)

# Print the number of detections for the first image
print(f"Detected {len(results[0].boxes)} objects in the first image.")

Các Ứng dụng Thực tế

Khả năng mở rộng cho phép các công nghệ AI chuyển đổi từ nghiên cứu lý thuyết sang các công cụ công nghiệp toàn cầu.

Sản xuất thông minh: Trong lĩnh vực trí tuệ nhân tạo ứng dụng trong sản xuất , các hệ thống kiểm tra tự động phải phân tích hàng nghìn linh kiện mỗi giờ trên các dây chuyền lắp ráp tốc độ cao. Một hệ thống phát hiện vật thể có khả năng mở rộng đảm bảo rằng khi tốc độ sản xuất tăng lên, quy trình kiểm soát chất lượng vẫn duy trì độ chính xác cao mà không trở thành điểm nghẽn.
Hệ thống đề xuất sản phẩm bán lẻ: Các nền tảng thương mại điện tử lớn sử dụng hệ thống đề xuất để cung cấp hàng triệu gợi ý sản phẩm được cá nhân hóa ngay lập tức. Cơ sở hạ tầng có khả năng mở rộng cho phép các nền tảng này xử lý các sự kiện lớn như Black Friday, nơi lưu lượng truy cập có thể tăng gấp 100 lần, bằng cách tự động cung cấp thêm các máy chủ thông qua Microsoft Azure hoặc các nhà cung cấp tương tự.