An toàn AI

An toàn AI là một lĩnh vực chuyên biệt trong Trí tuệ Nhân tạo (AI), tập trung vào việc đảm bảo các hệ thống AI hoạt động đáng tin cậy, có thể dự đoán được và không gây ra tác hại ngoài ý muốn. Khi các mô hình học sâu (DL) ngày càng tự chủ và được tích hợp vào cơ sở hạ tầng quan trọng, hậu quả tiềm ẩn của các sự cố hệ thống sẽ tăng lên đáng kể. Mục tiêu chính của an toàn AI là xác định, phân tích và giảm thiểu rủi ro phát sinh từ các trục trặc kỹ thuật, hành vi bất ngờ hoặc sự không phù hợp giữa mục tiêu của AI và các giá trị của con người. Lĩnh vực này bao gồm một loạt các hoạt động, từ kiểm thử mô hình nghiêm ngặt đến phát triển các đảm bảo toán học cho hành vi của hệ thống.

Các trụ cột cốt lõi của an toàn AI

Để xây dựng các hệ thống đáng tin cậy, các nhà nghiên cứu và kỹ sư tập trung vào một số trụ cột cơ bản đảm bảo các mô hình học máy (ML) hoạt động chính xác trong các điều kiện khác nhau.

• Tính mạnh mẽ: Một hệ thống mạnh mẽ phải duy trì hiệu suất ngay cả khi gặp phải dữ liệu bất ngờ hoặc điều kiện bất lợi. Điều này liên quan đến việc bảo vệ chống lại các cuộc tấn công bất lợi , trong đó các dữ liệu đầu vào độc hại được tạo ra để đánh lừa mô hình. Ví dụ, hệ thống thị giác máy tính (CV) không được phân loại sai biển báo dừng chỉ vì nhãn dán hoặc ánh sáng kém.
• Căn chỉnh: Điều này đề cập đến thách thức trong việc thiết kế các hệ thống AI có mục tiêu phản ánh chính xác ý định của con người. Sự không căn chỉnh có thể xảy ra nếu một mô hình tìm ra "lối tắt" để đạt điểm cao trên hàm mất mát trong khi vi phạm các ràng buộc an toàn, một khái niệm đã được Trung tâm AI Tương thích với Con người nghiên cứu rộng rãi.
• Khả năng diễn giải: Còn được gọi là AI có thể giải thích (XAI) , nguyên tắc này nhấn mạnh việc tạo ra các mô hình mà con người có thể hiểu được. Nếu một hệ thống ra quyết định gặp sự cố, các kỹ sư phải có khả năng kiểm tra trọng số mô hình nội bộ hoặc bản đồ kích hoạt để chẩn đoán lỗi và ngăn ngừa lỗi tái diễn.
• Giám sát: Giám sát mô hình liên tục là điều cần thiết để detect sự trôi dạt dữ liệu , khi dữ liệu mà một mô hình gặp phải trong thế giới thực khác với dữ liệu đào tạo của nó, có khả năng dẫn đến những dự đoán không an toàn.

Các Ứng dụng Thực tế

An toàn AI không chỉ là lý thuyết; nó là yêu cầu quan trọng để triển khai AI trong lĩnh vực ô tô và chăm sóc sức khỏe.

1. Lái xe tự động: Xe tự lái dựa vào các mô hình phát hiện vật thể để xác định người đi bộ, các phương tiện khác và chướng ngại vật. Các giao thức an toàn ở đây bao gồm dự phòng - sử dụng LiDAR và radar cùng với camera - và "ước tính bất định", trong đó xe sẽ giảm tốc độ hoặc yêu cầu sự can thiệp của con người nếu AI không chắc chắn về một vật thể. Các tổ chức như Waymo công bố các phương pháp an toàn chi tiết để xác thực các hệ thống nhận dạng này.
2. Chẩn đoán Y khoa: Trong phân tích hình ảnh y khoa , AI hỗ trợ các bác sĩ X-quang phải tối đa hóa độ chính xác đồng thời giảm thiểu tỷ lệ âm tính giả. Các cơ chế an toàn thường bao gồm quy trình làm việc "con người trong vòng lặp", trong đó AI chỉ đánh dấu các vấn đề tiềm ẩn để bác sĩ xem xét thay vì tự động đưa ra chẩn đoán cuối cùng, đảm bảo an toàn cho bệnh nhân được ưu tiên hàng đầu như đã nêu trong các giải pháp AI trong chăm sóc sức khỏe .

Triển khai Ngưỡng an toàn trong Mã

Một phương pháp cơ bản để tăng cường an toàn khi triển khai là áp dụng ngưỡng tin cậy nghiêm ngặt. Bằng cách bỏ qua các dự đoán có độ tin cậy thấp, các nhà phát triển có thể ngăn chặn tác nhân AI hoạt động trên dữ liệu yếu hoặc nhiễu.

Ví dụ sau đây minh họa cách lọc dự đoán bằng mô hình Ultralytics YOLO11 , đảm bảo chỉ xử lý các phát hiện có độ tin cậy cao.

from ultralytics import YOLO

# Load the YOLO11 model for object detection
model = YOLO("yolo11n.pt")

# Perform inference on an image with a strict confidence threshold
# This ensures the model only reports objects it is at least 70% sure about
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.70)

# Process only the safe, high-confidence detections
for result in results:
    print(f"Detected {len(result.boxes)} objects exceeding safety threshold.")

An toàn AI so với Đạo đức AI

Mặc dù thường được sử dụng thay thế cho nhau, các thuật ngữ này đề cập đến các khía cạnh khác nhau của quá trình phát triển AI có trách nhiệm .

• An toàn AI chủ yếu mang tính kỹ thuật. Nó đặt ra câu hỏi: "Liệu hệ thống này có hoạt động như thiết kế mà không gặp sự cố hoặc gây ra tai nạn vật lý không?". Nó liên quan đến độ tin cậy, khả năng kiểm soát và phòng ngừa lỗi, tương tự như kỹ thuật an toàn trong hàng không dân dụng.
• Đạo đức AI mang tính xã hội và đạo đức. Nó đặt ra câu hỏi: "Hệ thống này có công bằng không, và chúng ta có nên xây dựng nó không?". Nó tập trung vào các vấn đề như thiên kiến thuật toán , quyền riêng tư dữ liệu và tác động kinh tế xã hội của tự động hóa. Để hiểu sâu hơn, hãy khám phá mục từ điển của chúng tôi về Đạo đức AI .

Các khuôn khổ như Khung Quản lý Rủi ro AI của NIST cung cấp hướng dẫn cho các tổ chức để giải quyết cả rủi ro về an toàn và đạo đức. Khi các mô hình phát triển theo hướng Trí tuệ Nhân tạo Tổng quát (AGI) , sự hợp tác giữa các nhà nghiên cứu an toàn tại các viện như Viện Tương lai Sự sống và các nhà phát triển công nghiệp ngày càng trở nên quan trọng để đảm bảo công nghệ vẫn mang lại lợi ích cho nhân loại.