Điện toán Serverless

Serverless computing is a cloud execution model that enables developers to build and run applications without the complexity of managing infrastructure. In this paradigm, the cloud provider dynamically manages the allocation and provisioning of servers, abstracting the underlying hardware and operating systems away from the user. Code is executed in stateless containers triggered by specific events, such as an HTTP request, a database modification, or a file upload. This approach is highly relevant to modern cloud computing strategies, as it allows organizations to pay only for the compute time consumed, automatically adhering to scalability requirements by expanding from zero to thousands of instances based on traffic demand.

Cơ chế hoạt động của điện toán phi máy chủ (Serverless) cho trí tuệ nhân tạo (AI).

Cốt lõi của điện toán phi máy chủ là khái niệm Chức năng như một dịch vụ (Function-as-a-Service - FaaS) , trong đó các ứng dụng được chia nhỏ thành các chức năng riêng lẻ thực hiện các tác vụ riêng biệt. Đối với những người làm trong lĩnh vực Học máy (Machine Learning - ML) , điều này cung cấp một con đường hợp lý để triển khai mô hình . Thay vì duy trì một máy chủ chuyên dụng hoạt động không hiệu quả trong thời gian lưu lượng truy cập thấp, một chức năng phi máy chủ có thể được khởi tạo theo yêu cầu để xử lý dữ liệu và tắt ngay lập tức sau khi hoàn thành.

However, a key consideration in this architecture is the "cold start"—the latency incurred when a function is invoked for the first time or after a period of inactivity. To mitigate this, developers often use lightweight architectures like YOLO26 or techniques like model quantization to ensure rapid loading times, which is essential for maintaining low inference latency.

Ứng dụng thực tế trong học máy

Kiến trúc không máy chủ đặc biệt hiệu quả đối với các quy trình làm việc thị giác máy tính (CV) hướng sự kiện và các đường dẫn dữ liệu.

• Xử lý dữ liệu tự động: Khi người dùng tải lên một tập dữ liệu thô lên dịch vụ lưu trữ như Amazon S3 , nó có thể kích hoạt một hàm không máy chủ để thực hiện xử lý dữ liệu ngay lập tức. Hàm này có thể thay đổi kích thước hình ảnh, chuẩn hóa giá trị pixel hoặc xác thực định dạng tệp trước khi dữ liệu được đưa vào quy trình xử lý dữ liệu huấn luyện , đảm bảo tính nhất quán mà không cần can thiệp thủ công.
• Giám sát thông minh theo yêu cầu: Trong ứng dụng AI trong an ninh , cảm biến chuyển động có thể kích hoạt camera để chụp ảnh. Sự kiện này kích hoạt một hàm đám mây chứa mô hình phát hiện đối tượng . Mô hình sẽ phân tích hình ảnh để phân biệt giữa động vật vô hại và kẻ xâm nhập tiềm năng, chỉ gửi cảnh báo khi cần thiết. Điều này giúp giảm đáng kể chi phí băng thông và lưu trữ so với việc phát trực tuyến liên tục.

Python Ví dụ: Trình xử lý suy luận không có máy chủ

Đoạn mã sau đây minh họa một trình xử lý serverless theo khái niệm. Nó khởi tạo một thể hiện mô hình toàn cục để tận dụng "khởi động nóng" (trong đó container vẫn hoạt động giữa các yêu cầu) và xử lý đường dẫn hình ảnh đến.

from ultralytics import YOLO

# Initialize the model outside the handler to cache it for subsequent requests
# YOLO26n is ideal for serverless due to its compact size and speed
model = YOLO("yolo26n.pt")


def lambda_handler(event, context):
    """Simulates a serverless function handler triggered by an event. 'event' represents the input payload containing
    the image source.
    """
    image_source = event.get("url", "https://ultralytics.com/images/bus.jpg")

    # Perform inference
    results = model(image_source)

    # Return prediction summary
    return {
        "statusCode": 200,
        "body": {
            "objects_detected": len(results[0].boxes),
            "top_class": results[0].names[int(results[0].boxes.cls[0])] if len(results[0].boxes) > 0 else "None",
        },
    }

Phân biệt các công nghệ liên quan

Để hiểu về điện toán phi máy chủ, cần phải phân biệt nó với các mô hình cơ sở hạ tầng khác thường được sử dụng trong MLOps .

• Điện toán phi máy chủ so với điện toán biên: Mặc dù cả hai đều hướng đến việc tối ưu hóa hiệu quả, nhưng chúng hoạt động ở các vị trí khác nhau. Điện toán biên xử lý dữ liệu cục bộ trên thiết bị (ví dụ: camera thông minh hoặc thiết bị IoT ) để giảm thiểu thời gian truyền tải qua mạng. Điện toán phi máy chủ diễn ra trên đám mây công cộng tập trung. Các giải pháp lai thường xử lý dữ liệu ban đầu ở biên và gửi các bất thường phức tạp đến các chức năng đám mây phi máy chủ để phân tích hình ảnh y tế chuyên sâu hoặc xem xét pháp y.
• Serverless so với Kubernetes: Kubernetes là một nền tảng điều phối cho việc đóng gói container , cung cấp cho các nhà phát triển khả năng kiểm soát chi tiết môi trường cụm, mạng và các pod. Mặc dù mạnh mẽ, nó đòi hỏi chi phí quản lý đáng kể. Các nền tảng serverless, chẳng hạn như Google Cloud Functions hoặc Azure Functions , hoàn toàn trừu tượng hóa việc điều phối này, cho phép các nhóm tập trung hoàn toàn vào logic mã thay vì trạng thái hoạt động của các node.
• Serverless vs. IaaS: Infrastructure-as-a-Service (IaaS) provides virtualized computing resources over the internet, like Amazon EC2. With IaaS, the user is responsible for patching the operating system and managing middleware. In contrast, serverless computing removes these operational responsibilities, allowing developers to focus on higher-level tasks like improving image classification accuracy.

By leveraging serverless architectures, developers can deploy robust AI solutions that are cost-effective and capable of handling unpredictable workloads, utilizing tools like the Ultralytics Platform to streamline the model training and management process before deployment.