Serverless Computing

Serverless computing là một mô hình thực thi trên nền tảng đám mây cho phép nhà phát triển xây dựng và chạy ứng dụng mà không cần sự phức tạp của việc quản lý hạ tầng. Trong mô hình này, nhà cung cấp dịch vụ đám mây tự động quản lý việc phân bổ và cấp phát máyδéng, giúp ẩn đi phần cứng và hệ điều hành bên dưới đối với người dùng. Mã nguồn được thực thi trong các container không trạng thái (stateless container) được kích hoạt bởi các sự kiện cụ thể, chẳng hạn như một yêu cầu HTTP, một thay đổi cơ sở dữ liệu, hoặc một tệp tải lên. Cách tiếp cận này có ý nghĩa rất lớn đối với các chiến lược cloud computing hiện đại, vì nó cho phép các tổ chức chỉ trả phí cho thời gian tính toán thực tế đã sử dụng, đồng thời tự động đáp ứng các yêu cầu về scalability bằng cách mở rộng quy mô từ không lên đến hàng nghìn instance dựa trên nhu cầu lưu lượng truy cập.

Cơ chế của Serverless đối với AI#

Cốt lõi của serverless computing là khái niệm Function-as-a-Service (FaaS), trong đó các ứng dụng được chia nhỏ thành các hàm riêng lẻ thực hiện các tác vụ rời rạc. Đối với các kỹ sư trong lĩnh vực Machine Learning (ML), điều này mang lại một lộ trình tinh gọn cho việc model deployment. Thay vì duy trì một máy chủ chuyên dụng ở trạng thái nhàn rỗi trong các giai đoạn ít lưu lượng truy cập, một hàm serverless có thể khởi động theo yêu cầu để xử lý dữ liệu và tắt ngay sau đó.

Tuy nhiên, một cân nhắc quan trọng trong kiến trúc này là hiện tượng "khởi động lạnh" (cold start) — độ trễ phát sinh khi một hàm được gọi lần đầu tiên hoặc sau một khoảng thời gian không hoạt động. Để giảm thiểu điều này, các nhà phát triển thường sử dụng các kiến trúc gọn nhẹ như YOLO26 hoặc các kỹ thuật như model quantization nhằm đảm bảo thời gian tải nhanh chóng, điều này rất thiết yếu để duy trì inference latency thấp.

Ứng dụng trong thực tế của Machine Learning#

Các kiến trúc serverless đặc biệt hiệu quả đối với các quy trình và đường ống dữ liệu computer vision (CV) hướng sự kiện.

• Tiền xử lý dữ liệu tự động: Khi một người dùng tải một tập dữ liệu thô lên dịch vụ lưu trữ như Amazon S3, thao tác này có thể kích hoạt một hàm serverless để thực hiện data preprocessing ngay lập tức. Hàm này có thể thay đổi kích thước hình ảnh, chuẩn hóa các giá trị pixel, hoặc xác thực định dạng tệp trước khi dữ liệu đi vào một đường ống training data, đảm bảo tính nhất quán mà không cần sự can thiệp thủ công.
• Giám sát thông minh theo yêu cầu: Trong lĩnh vực AI in Security, cảm biến chuyển động có thể kích hoạt camera chụp lại một khung hình. Sự kiện này gọi một hàm đám mây lưu trữ một mô hình object detection. Mô hình phân tích hình ảnh để phân biệt giữa một động vật vô hại và một kẻ đột nhập tiềm năng, từ đó gửi cảnh báo chỉ khi cần thiết. Điều này làm giảm đáng kể chi phí băng thông và lưu trữ so với việc phát trực tuyến liên tục.

Ví dụ Python: Trình xử lý suy luận Serverless#

Đoạn mã sau minh họa một trình xử lý serverless về mặt ý tưởng. Nó khởi tạo một instance mô hình toàn cục để tận dụng "warm starts" (trạng thái trong đó container vẫn hoạt động giữa các yêu cầu) và xử lý đường dẫn hình ảnh đầu vào.

from ultralytics import YOLO

# Initialize the model outside the handler to cache it for subsequent requests
# YOLO26n is ideal for serverless due to its compact size and speed
model = YOLO("yolo26n.pt")


def lambda_handler(event, context):
    """Simulates a serverless function handler triggered by an event. 'event' represents the input payload containing
    the image source.
    """
    image_source = event.get("url", "https://ultralytics.com/images/bus.jpg")

    # Perform inference
    results = model(image_source)

    # Return prediction summary
    return {
        "statusCode": 200,
        "body": {
            "objects_detected": len(results[0].boxes),
            "top_class": results[0].names[int(results[0].boxes.cls[0])] if len(results[0].boxes) > 0 else "None",
        },
    }

Phân biệt các công nghệ liên quan#

Hiểu về serverless computing đòi hỏi phải phân biệt nó với các mô hình hạ tầng khác thường được sử dụng trong MLOps.

• Serverless so với Edge Computing: Mặc dù cả hai đều nhằm mục đích tối ưu hóa hiệu suất, chúng hoạt động ở các vị trí khác nhau. Edge computing xử lý dữ liệu cục bộ trên thiết bị (ví dụ: camera thông minh hoặc IoT device) để giảm thiểu thời gian truyền qua mạng. Serverless computing diễn ra ở một đám mây công cộng tập trung. Các giải pháp lai thường xử lý dữ liệu ban đầu ở biên và gửi các trường hợp bất thường phức tạp đến các hàm đám mây serverless để thực hiện việc medical image analysis sâu hơn hoặc đánh giá pháp y.
• Serverless so với Kubernetes: Kubernetes là một nền tảng điều phối dành cho containerization mang lại cho nhà phát triển quyền kiểm soát chi tiết đối với môi trường cụm, mạng và các pod. Dù rất mạnh mẽ, nó đòi hỏi chi phí quản lý đáng kể. Các nền tảng serverless, chẳng hạn như Google Cloud Functions hoặc Azure Functions, trừu tượng hóa hoàn toàn việc điều phối này, cho phép các nhóm tập trung hoàn toàn vào logic mã nguồn thay vì tình trạng hoạt động của các nút.
• Serverless so với IaaS: Infrastructure-as-a-Service (IaaS) cung cấp tài nguyên máy tính ảo hóa qua internet, như Amazon EC2. Với IaaS, người dùng chịu trách nhiệm vá lỗi hệ điều hành và quản lý phần middleware. Ngược lại, serverless computing loại bỏ các trách nhiệm vận hành này, cho phép nhà phát triển tập trung vào các tác vụ cấp cao hơn như cải thiện độ chính xác của image classification.

Bằng cách tận dụng các kiến trúc serverless, các nhà phát triển có thể triển khai các giải pháp AI mạnh mẽ, tiết kiệm chi phí và có khả năng xử lý khối lượng công việc không thể đoán trước, tận dụng các công cụ như Ultralytics Platform để tối ưu hóa quy trình huấn luyện và quản lý mô hình trước khi triển khai.