AI Governance

Quản trị AI là hệ thống các chính sách, vai trò, kiểm soát và bằng chứng mà một tổ chức sử dụng để chỉ đạo và giám sát trí tuệ nhân tạo trong suốt vòng đời của trí tuệ nhân tạo. Quản trị AI xác định những hệ thống AI nào được phép xây dựng hoặc mua sắm, ai chịu trách nhiệm về các hệ thống AI đó, cách đánh giá rủi ro, tài liệu nào được yêu cầu và khi nào một hệ thống nên được thay đổi hoặc ngừng hoạt động. Quản trị hiệu quả giúp các tổ chức thu được giá trị từ AI đồng thời bảo vệ con người, hoạt động, dữ liệu và các quyền hợp pháp.

Cách thức hoạt động của quản trị AI#

Quản trị AI biến các mục tiêu rộng lớn như tính công bằng, độ tin cậy, tính minh bạch và trách nhiệm giải trình thành các quy trình tổ chức có thể lặp lại. NIST AI Risk Management Framework Core sắp xếp các hoạt động này xung quanh việc quản trị, lập bản đồ, đo lường và quản lý rủi ro. OECD AI Principles cũng nhấn mạnh quyền con người, tính minh bạch, độ vững chắc, bảo mật và trách nhiệm giải trình.

Quản trị nên bao trùm toàn bộ hệ thống thay vì chỉ mô hình học máy của hệ thống đó. Ví dụ, một ứng dụng thị giác máy tính có thể bao gồm camera, tập dữ liệu, chú thích, trọng số mô hình, cơ sở hạ tầng suy luận, quy tắc kinh doanh, người đánh giá con người và các hành động hạ nguồn. Một mô hình có thể hoạt động chính xác trong môi trường thử nghiệm nhưng vẫn gây ra tác hại nếu camera thu thập thông tin cá nhân không cần thiết hoặc nhà vận hành coi các dự đoán không chắc chắn là sự thật đã được xác minh.

Các tổ chức có thể chính thức hóa các quy trình này thông qua hệ thống quản lý AI. ISO/IEC 42001 for AI management systems cung cấp một cách tiếp cận có cấu trúc để thiết lập, duy trì và liên tục cải thiện các biện pháp kiểm soát AI trên toàn tổ chức.

Các biện pháp kiểm soát quản trị cốt lõi#

Một khung quản trị AI thực tế thường bao gồm một số biện pháp kiểm soát được kết nối với nhau:

• Quyền sở hữu và quyền quyết định: Chủ sở hữu hệ thống được chỉ định, người đánh giá rủi ro, người quản lý dữ liệu, nhóm bảo mật và các bên liên quan trong kinh doanh nên biết ai có quyền phê duyệt, sửa đổi, triển khai, tạm dừng hoặc ngừng hoạt động một hệ thống AI.
• Phân loại rủi ro: Các hệ thống được phân loại theo mục đích, người dùng bị ảnh hưởng, tính tự chủ, độ nhạy cảm của dữ liệu và hậu quả có thể xảy ra. Các ứng dụng có tác động lớn hơn sẽ nhận được quá trình kiểm tra và giám sát chặt chẽ hơn từ con người.
• Tài liệu và khả năng truy xuất nguồn gốc: Một model card có thể ghi lại các mục đích sử dụng dự định, điều kiện đánh giá, các giới hạn và các kịch bản bị loại trừ. Các phiên bản tập dữ liệu, cấu hình huấn luyện, phê duyệt và các phiên bản mô hình đã triển khai cũng cần phải duy trì khả năng truy xuất nguồn gốc.
• Kho kiểm kê AI: NIST AI RMF inventory guidance khuyến nghị duy trì thông tin có tổ chức về các hệ thống AI, các liên hệ chịu trách nhiệm, tài liệu, dữ liệu và kế hoạch sự cố. Kho kiểm kê giúp ngăn chặn các hệ thống chưa được phê duyệt hoặc bị lãng quên hoạt động mà không có sự giám sát.
• Kiểm tra và giám sát: Các nhóm xác định ngưỡng chấp nhận, đánh giá các nhóm phụ quan trọng và các trường hợp biên, giám sát hành vi sản xuất, đồng thời thiết lập các quy trình leo thang hoặc hoàn tác.

Các biện pháp kiểm soát này biến các nguyên tắc như AI ethics và AI safety thành các hoạt động thực tế thay vì chỉ là những mong muốn.

Quản trị AI trong các ứng dụng thực tế#

Hãy xem xét một nhà kho sử dụng AI thị giác để phát hiện xem công nhân có đang mặc thiết bị bảo hộ được yêu cầu hay không. Quản trị bắt đầu trước khi huấn luyện: tổ chức xác định những khu vực nào có thể được ghi hình, thời gian lưu giữ cảnh quay và liệu các dự đoán có kích hoạt cảnh báo hay hành động kỷ luật tự động hay không. Tổ chức đó đánh giá hệ thống trên các kiểu trang phục, điều kiện ánh sáng, góc camera và những công nhân bị che khuất một phần. Các trường hợp âm tính giả có thể bỏ sót các mối nguy hiểm, trong khi các trường hợp dương tính giả có thể ảnh hưởng bất công đến nhân viên. Việc đánh giá của con người, báo cáo sự cố và kiểm tra định kỳ sẽ hạn chế những hậu quả này.

Ví dụ thứ hai là một hệ thống bán lẻ đo lường các hàng đợi thanh toán từ video. Bản ghi quản trị của hệ thống xác định mục đích kinh doanh, camera được phê duyệt, nguồn tập dữ liệu, chủ sở hữu triển khai và các ngưỡng hiệu suất chấp nhận được. Nếu các điều kiện thay đổi sau khi thiết kế lại cửa hàng, hiệu suất có thể giảm vì môi trường sản xuất không còn giống với dữ liệu huấn luyện. Việc giám sát có thể tiết lộ sự thay đổi này và kích hoạt việc đánh giá, thu thập dữ liệu mới hoặc huấn luyện lại.

Các yêu cầu quản trị cũng có thể đến từ bên ngoài tổ chức. European Union AI Act áp dụng cách tiếp cận quản lý dựa trên rủi ro, trong khi GAO AI Accountability Framework tổ chức việc giám sát xung quanh quản trị, dữ liệu, hiệu suất và giám sát.

Các khái niệm liên quan và điểm khác biệt chính#

Quản trị AI rộng hơn một số thuật ngữ có liên quan mật thiết:

• Quản trị AI so với quy định pháp lý: Quản trị bao gồm các quyết định và biện pháp kiểm soát nội bộ của một tổ chức. Quy định pháp lý bao gồm các yêu cầu bên ngoài có hiệu lực thi hành theo pháp luật. Quản trị tốt có thể hỗ trợ việc tuân thủ, nhưng hai khái niệm này không thể thay thế cho nhau.
• Quản trị AI so với đạo đức AI: Đạo đức xác định các giá trị và đặt câu hỏi về những gì một hệ thống AI nên làm. Quản trị phân công thẩm quyền, quy trình và bằng chứng để áp dụng các giá trị đó.
• Quản trị AI so với quản lý rủi ro: Quản lý rủi ro xác định, đánh giá và xử lý các rủi ro cụ thể. Quản trị thiết lập ai là người thực hiện các hoạt động đó và cách các quyết định được xem xét.
• Quản trị AI so với MLOps: MLOps vận hành các đường ống kỹ thuật để huấn luyện, triển khai và bảo trì. Quản trị thiết lập các quy tắc phê duyệt và trách nhiệm giải trình xung quanh các đường ống đó.

Quản trị cũng phối hợp các biện pháp kiểm soát chuyên specialized cho bias in AI, data privacy và an ninh mạng. secure AI system development guidelines giải quyết vấn đề bảo mật trong thiết kế, phát triển, triển khai và vận hành.

Đưa quản trị vào thực tiễn#

Các nhóm nên bắt đầu bằng việc lập kho kiểm kê, phân loại từng trường hợp sử dụng theo mức độ tác động, chỉ định các chủ sở hữu chịu trách nhiệm và xác định các tiêu chí phê duyệt có thể đo lường được. Ultralytics Platform hỗ trợ quản lý tập dữ liệu đám mây, huấn luyện, triển khai và giám sát, giúp các nhóm thị giác duy trì bằng chứng vòng đời trong một quy trình làm việc được kết nối.

Ví dụ, một đánh giá quản trị có thể ghi lại các kết quả đánh giá có thể tái tạo cho một mô hình Ultralytics YOLO26:

from ultralytics import YOLO

# Load the approved model version
model = YOLO("yolo26n.pt")

# Evaluate it against the designated validation dataset
metrics = model.val(data="coco8.yaml")

# Record this metric with the dataset and test configuration
print(f"mAP50-95: {metrics.box.map:.3f}")

validation workflow này tạo ra các bằng chứng kỹ thuật, nhưng quản trị cũng đòi hỏi các ngưỡng được tài liệu hóa, người đánh giá, giới hạn và quyết định. Sau khi phát hành, deployment monitoring giúp các nhóm quan sát tình trạng của điểm cuối và điều tra các thay đổi trong vận hành. Cùng nhau, các hoạt động này biến quản trị AI thành một kỷ luật vòng đời liên tục thay vì chỉ là một bước phê duyệt một lần.