Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Confidence Interval

Khoảng tin cậy định lượng độ bất định do lấy mẫu trong các chỉ số của model như độ chính xác và mAP. Khoảng 95% mô tả độ bao phủ dài hạn.

Khoảng tin cậy (CI) là một khoảng được tính từ mẫu bằng phương pháp được thiết kế để bao phủ một đại lượng tổng thể chưa biết với tỷ lệ xác định. Trong học máy, điểm số kiểm thử ước tính hiệu năng của một model cố định trên các loại dữ liệu đầu vào mà tập kiểm thử đại diện. Khoảng này cho biết mức độ chính xác của ước tính hiệu năng đó dựa trên một mẫu hữu hạn.

Ý nghĩa của khoảng tin cậy 95%#

Nếu bạn liên tục lấy các mẫu dữ liệu kiểm thử tương đương và mỗi lần đều tính khoảng theo cùng một cách, thì quy trình có độ bao phủ 95% sẽ chứa giá trị thực của metric trong khoảng 95 trên 100 khoảng về lâu dài. Metric là cố định; các cận của khoảng thay đổi từ mẫu này sang mẫu khác. Jerzy Neyman giới thiệu khuôn khổ tần suất luận này trong bài báo năm 1934 về lấy mẫu.

Mức độ tin cậy cao hơn thường tạo ra khoảng rộng hơn khi dùng cùng một dữ liệu. Nhiều quan sát độc lập hơn thường làm khoảng hẹp hơn ở cùng một mức độ tin cậy. Độ rộng đo lường độ chính xác do lấy mẫu: khoảng có thể hẹp ngay cả khi độ chệch của dataset khiến mẫu kiểm thử không đại diện cho điều kiện triển khai.

Cách tính khoảng tin cậy#

Với trung bình mẫu, công thức phổ biến là ước lượng ± biên sai số, trong đó biên sai số bằng giá trị tới hạn nhân với sai số chuẩn. Sai số chuẩn đo mức độ biến thiên của ước lượng qua các mẫu lặp lại. Với các quan sát độc lập lấy từ cùng một tổng thể, sai số chuẩn ước tính của trung bình bằng độ lệch chuẩn mẫu chia cho căn bậc hai của kích thước mẫu. Khoảng chuẩn hai phía 95% sử dụng giá trị tới hạn 1.96, với 2.5% ở mỗi đuôi. Khoảng t một mẫu sử dụng giá trị tới hạn của phân phối t Student với số bậc tự do bằng kích thước mẫu trừ một. Khoảng này có độ bao phủ chính xác đối với các quan sát độc lập lấy từ cùng một tổng thể phân phối chuẩn.

Phương pháp phụ thuộc vào metric và cách lấy mẫu dữ liệu kiểm thử:

  • Độ chính xác phân loại: Với các ảnh độc lập và xác suất phân loại đúng chung, khoảng điểm Wilson sử dụng số dự đoán đúng và kích thước tập kiểm thử để ước tính xác suất đó. Cả hai cận đều nằm trong khoảng từ 0% đến 100%.
  • Độ chính xác trung bình trung bình (mAP): Dùng bootstrap cho toàn bộ metric bằng cách lấy mẫu lại các đơn vị kiểm thử có hoàn lại và tính lại mAP cho mỗi lần lấy mẫu. Khoảng phân vị 95% sử dụng phân vị thứ 2.5 và thứ 97.5 của các điểm số đó. Trong bootstrap ở cấp ảnh, dự đoán và chú giải của mỗi ảnh được giữ cùng nhau.

Ví dụ minh họa: Độ chính xác nhận dạng chữ số viết tay#

Ví dụ phân loại chữ số của scikit-learn huấn luyện một máy vector hỗ trợ trên nửa đầu của bộ ảnh chữ số đi kèm và đánh giá model trên nửa còn lại. Mã sử dụng cùng cách chia dữ liệu và tính khoảng Wilson bằng API tỷ lệ nhị thức của SciPy.

from scipy.stats import binomtest
from sklearn.datasets import load_digits
from sklearn.svm import SVC

X, y = load_digits(return_X_y=True)
split = len(y) // 2
model = SVC(gamma=0.001)
model.fit(X[:split], y[:split])
predictions = model.predict(X[split:])

correct = int((predictions == y[split:]).sum())
accuracy = binomtest(correct, len(y[split:]))
interval = accuracy.proportion_ci(confidence_level=0.95, method="wilson")
print(f"Accuracy: {accuracy.statistic:.1%} (95% CI: {interval.low:.1%}–{interval.high:.1%})")

Bộ phân loại dự đoán đúng 871 trong số 899 ảnh: độ chính xác 96.9% với khoảng Wilson 95% từ 95.5%–97.8% theo mô hình các ảnh độc lập. Các ảnh đi kèm được lấy từ tập kiểm thử chữ số viết tay UCI, gồm dữ liệu của 13 người viết. Ảnh của cùng một người viết có thể có chung đặc điểm chữ viết, vì vậy cần tính đến sự phân nhóm đó khi ước tính độ chính xác trên người viết mới.

Khoảng tin cậy, điểm số và dự đoán#

Điểm tin cậy là đầu ra của model cho một dự đoán. Trong chế độ dự đoán Ultralytics YOLO, conf đặt điểm số tối thiểu mà một đối tượng được phát hiện cần đạt để được giữ lại. Khoảng tin cậy của recall tại ngưỡng đó định lượng độ bất định của ước tính recall từ mẫu kiểm thử.

Khoảng dự đoán nhắm đến một quan sát trong tương lai. Ví dụ, dự đoán conformal đã được sử dụng để xây dựng khoảng dự đoán theo từng pixel trên KITTI cho các ước tính độ sâu trong những khung hình mới.

So sánh các model thị giác máy tính#

Khoảng cho một model cố định đo lường độ bất định do lấy mẫu tập kiểm thử. Việc so sánh các pipeline huấn luyện cũng liên quan đến biến thiên do các yếu tố như khởi tạo ngẫu nhiên và tinh chỉnh siêu tham số, có thể được đo lường thông qua nhiều lần chạy huấn luyện lặp lại.

Khi hai model phát hiện đối tượng chạy trên cùng một tập kiểm thử, bootstrap ghép cặp lấy cùng các đơn vị cho cả hai model và tính chênh lệch mAP ở mỗi lần lấy mẫu. Có thể lấy từng ảnh tĩnh được lấy mẫu độc lập lần lượt một ảnh. Khi các video được lấy mẫu độc lập chứa những khung hình có tương quan, lấy mẫu toàn bộ video giúp duy trì sự phụ thuộc giữa các khung hình. Coi các khung hình lân cận là độc lập có thể khiến khoảng quá hẹp. Vì ghép cặp duy trì mối liên hệ giữa kết quả trên cùng đầu vào, khoảng của chênh lệch mAP có thể không chứa số 0 ngay cả khi hai khoảng tin cậy riêng lẻ chồng lấn.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning