Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Kullback-Leibler Divergence (KL Divergence)

Độ phân kỳ Kullback-Leibler đo mức độ khác biệt giữa hai phân phối xác suất. Thứ tự có ý nghĩa trong quá trình huấn luyện, phát hiện độ lệch và hiệu chuẩn INT8.

Độ phân kỳ Kullback-Leibler (độ phân kỳ KL), còn gọi là entropy tương đối, đo lượng thông tin bổ sung trung bình cần thiết để mã hóa các kết quả lấy từ một phân phối xác suất bằng mã được thiết kế cho một phân phối khác. Trong machine learning, đại lượng này đo chi phí của việc dùng xác suất do model tạo ra thay cho một phân phối tham chiếu. Thứ tự có ý nghĩa: phân phối thứ nhất quyết định trọng số của từng kết quả. Solomon Kullback và Richard A. Leibler đã giới thiệu đại lượng này trong bài báo năm 1951 Về thông tin và tính đầy đủ.

Cách tính độ phân kỳ KL#

Với các phân phối rời rạc P và Q, ghép các kết quả theo nhãn hoặc bin. Với mỗi kết quả, lấy xác suất của kết quả đó trong P chia cho xác suất của nó trong Q, tính logarit rồi nhân với xác suất của nó trong P. Cộng các số hạng đã nhân trọng số này. Trong ký hiệu D_KL(P || Q), P là phân phối cung cấp các trọng số. Với các phân phối liên tục, hãy dùng mật độ xác suất và tích phân tỷ số logarit có trọng số trên toàn miền kết quả. Logarit tự nhiên cho đơn vị nat; logarit cơ số 2 cho đơn vị bit.

Với P = (0.8, 0.2) và Q = (0.5, 0.5), các số hạng là 0.8 * ln(0.8 / 0.5) và 0.2 * ln(0.2 / 0.5). Tổng của chúng là 0.193 nat. Đổi chỗ P và Q cho kết quả 0.223 nat. Các số hạng riêng lẻ có thể âm; tổng luôn không âm.

Độ phân kỳ KL trong Python#

Mẫu chữ số viết tay đi kèm scikit-learn chứa 1.797 ảnh có nhãn. So sánh tần suất nhãn của mẫu với một phân phối đồng đều cho thấy mẫu phân loại ảnh lệch bao xa so với sự cân bằng giữa các lớp. entropy của SciPy chuẩn hóa cả hai đầu vào, vì vậy hàm này chấp nhận cả số lượng mẫu theo lớp lẫn xác suất.

import numpy as np
from scipy.stats import entropy
from sklearn.datasets import load_digits

digits = load_digits()
labels = digits.target
counts = np.bincount(labels, minlength=10)
uniform = np.full(10, 0.1)

# Use the observed label frequencies as the first distribution.
kl = entropy(counts, uniform)
print(f"KL(observed || uniform): {kl:.6f} nats")

Kết quả xấp xỉ 0.00011 nat, phản ánh số lượng ảnh cho mỗi chữ số gần như bằng nhau.

Cách diễn giải giá trị độ phân kỳ KL#

Bằng không nghĩa là các phân phối trùng khớp. Giá trị lớn hơn cho thấy mức độ không khớp cao hơn khi giữ nguyên chiều tính, đơn vị và cách định nghĩa kết quả. Trong giám sát model, độ phân kỳ KL có thể phát hiện thay đổi về tần suất lớp được dự đoán giữa một cửa sổ dữ liệu trực tiếp và đường cơ sở. Không có ngưỡng cảnh báo chung cho mọi trường hợp: điểm số thay đổi theo cách chia bin và kích thước mẫu. Sự dịch chuyển trong tần suất lớp được dự đoán có thể kích hoạt việc rà soát; các chỉ số hiệu năng trên dữ liệu có nhãn định lượng mức suy giảm chất lượng của model.

Vô cực xảy ra bất cứ khi nào một kết quả rời rạc có xác suất dương trong P và xác suất bằng không trong Q. Kết quả có xác suất bằng không trong P không đóng góp gì. Trong histogram quan sát được, một bin trống có thể là do số lượng mẫu hạn chế. Thêm một số lượng nhỏ vào mọi bin trước khi chuẩn hóa sẽ tạo ra điểm số hữu hạn cho các phân phối đã làm trơn. Tên gọi không chính thức khoảng cách KL chỉ cùng đại lượng này; đại lượng đó bất đối xứng và không thỏa mãn bất đẳng thức tam giác, điều kiện cần có của một khoảng cách toán học.

Các ứng dụng của độ phân kỳ KL#

Trong chưng cất tri thức, model học sinh có thể học từ toàn bộ phân phối lớp của model giáo viên. Chưng cất mục tiêu mềm sử dụng xác suất softmax được co giãn theo nhiệt độ cho cả hai model. Đặt model giáo viên ở vị trí thứ nhất trong độ phân kỳ KL sẽ phạt model học sinh khi gán xác suất quá thấp cho các lớp mà model giáo viên xem là có khả năng xảy ra. Autoencoder biến phân sử dụng độ phân kỳ KL để điều chuẩn phân phối tiềm ẩn đã mã hóa hướng tới một phân phối tiên nghiệm được chọn, thường là phân phối chuẩn tắc.

Trong quá trình lượng tử hóa model sau huấn luyện, hiệu chuẩn entropy so sánh các histogram kích hoạt trước và sau khi mô phỏng lượng tử hóa INT8. Phương pháp này chọn ngưỡng cắt tạo ra độ phân kỳ KL thấp nhất. Trình xuất TensorRT của Ultralytics chọn hiệu chuẩn entropy cho các bản xuất INT8 sau huấn luyện của YOLO26, hướng đến bộ tăng tốc học sâu (DLA) trên NVIDIA Jetson với phiên bản TensorRT 7–10 tương thích với DLA.

Độ phân kỳ KL so với entropy chéo và độ phân kỳ Jensen-Shannon#

Hàm mất mát entropy chéo cộng độ bất định vốn có của P vào chi phí bổ sung được đo bằng độ phân kỳ KL. Khi P cố định, cả hai hàm mất mát đều có cùng nghiệm tối ưu đối với Q. Khi P là mục tiêu one-hot, độ bất định của nó bằng không, nên cả hai hàm mất mát đều bằng logarit âm của xác suất mà Q gán cho lớp được gắn nhãn.

Độ phân kỳ Jensen-Shannon lấy trung bình hai giá trị KL: một giá trị từ P đến phân phối trung điểm và một giá trị từ Q đến cùng phân phối trung điểm đó. Phân phối trung điểm gán xác suất dương cho mọi kết quả xuất hiện trong ít nhất một trong hai phân phối. Nhờ vậy, độ phân kỳ Jensen-Shannon có tính đối xứng và đạt giá trị tối đa 1 bit khi hai phân phối không có kết quả chung.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning