Perplexity

Perplexity là chỉ số đo mức độ một model xác suất dự đoán tốt một chuỗi; chỉ số được tính bằng hàm mũ của log-likelihood âm trung bình mà model gán cho từng token thực tế tiếp theo. Giá trị thấp hơn tốt hơn. Perplexity bằng 10 nghĩa là trung bình model không chắc chắn tương đương với việc chọn đều giữa 10 lựa chọn ở mỗi bước, vì vậy con số này thường được hiểu là hệ số phân nhánh hiệu dụng. Năm 1977, Frederick Jelinek, Robert Mercer, Lalit Bahl và James Baker giới thiệu chỉ số này tại IBM để đo độ khó của các tác vụ nhận dạng tiếng nói; cho đến nay, perplexity vẫn là chỉ số nội tại tiêu chuẩn trong mô hình hóa ngôn ngữ. Chẳng hạn, GPT-2 của OpenAI với 1,5 tỷ tham số đạt perplexity 17,48 trên benchmark WikiText-103 năm 2019 dù không được huấn luyện trên benchmark này.

Từ này còn gọi tên hai khái niệm không liên quan. Perplexity AI là công ty công cụ tìm kiếm AI, còn t-SNE có hyperparameter perplexity xác định gần đúng số láng giềng mà mỗi điểm xem xét khi t-SNE tạo bản đồ 2D cho dữ liệu nhiều chiều.

Cách tính perplexity#

Với chuỗi gồm N token, perplexity = exp(-(1/N) x tổng log p(token_i | tất cả token trước đó)). Đại lượng nằm trong hàm mũ là cross-entropy giữa văn bản và dự đoán của model, cũng chính là hàm loss dùng để huấn luyện model ngôn ngữ lớn (LLM). Với logarit tự nhiên, cơ số là e; với logarit cơ số 2, cơ số là 2; cả hai đều cho cùng perplexity. Cross-entropy loss của PyTorch mặc định dùng logarit tự nhiên và tính trung bình trên các token, vì vậy perplexity của model ngôn ngữ đơn giản là exp(loss).

import math

# Probability the model assigned to each correct next token
token_probs = [0.50, 0.25, 0.80, 0.40]

# Cross-entropy is the average negative log-likelihood, in nats
cross_entropy = -sum(math.log(p) for p in token_probs) / len(token_probs)
print(f"Cross-entropy: {cross_entropy:.3f}, perplexity: {math.exp(cross_entropy):.2f}")

# A model that spreads probability evenly over 10 tokens has perplexity 10
uniform = -sum(math.log(0.1) for _ in token_probs) / len(token_probs)
print(f"Uniform perplexity: {math.exp(uniform):.2f}")

Bốn xác suất cho cross-entropy bằng 0.805 nat và perplexity bằng 2.24, nghĩa là model hoạt động như thể đang chọn giữa khoảng hai token có khả năng ngang nhau ở mỗi bước. Trường hợp phân phối đều xác nhận cách diễn giải theo hệ số phân nhánh: xác suất 0.1 cho mỗi token đúng tạo ra chính xác giá trị 10.

Cần chú ý khi xử lý tài liệu dài. Model có context window cố định sẽ chấm điểm văn bản theo từng chunk; các token ở đầu một chunk không chồng lấp hầu như không có ngữ cảnh, làm perplexity tăng lên. Đánh giá bằng cửa sổ trượt cho các chunk chồng lấp để mọi token nhận được nhiều ngữ cảnh phía trước nhất có thể theo giới hạn của model, đổi lại là cần tính toán nhiều hơn.

So sánh model công bằng#

Chỉ có thể so sánh perplexity giữa các model được đánh giá trên cùng văn bản và dùng cùng cách tokenize. Model có bộ từ vựng lớn hơn chia văn bản thành ít token hơn nhưng khó dự đoán hơn, vì vậy perplexity trên mỗi token không thể so sánh trực tiếp với model dùng token nhỏ hơn. Chuẩn hóa tổng log-likelihood theo số byte hoặc ký tự, được báo cáo dưới dạng bit trên byte hoặc bit trên ký tự, loại bỏ sự phụ thuộc này.

Dữ liệu kiểm thử cũng phải không xuất hiện trong dữ liệu huấn luyện. Model từng thấy một đoạn văn sẽ gán xác suất cao bất thường cho đoạn đó, vì vậy dạng rò rỉ dữ liệu này khiến perplexity trông tốt hơn hiệu năng thực tế. Cùng hiệu ứng đó cũng thúc đẩy tấn công suy luận membership, vốn đánh dấu văn bản có perplexity thấp bất thường là dữ liệu có khả năng đã được dùng để huấn luyện.

Perplexity chấm điểm khả năng dự đoán token tiếp theo trên một văn bản cố định. Chat model trải qua instruction tuning và học tăng cường từ phản hồi của con người (RLHF) để làm theo yêu cầu và phù hợp với sở thích của con người, vì vậy chúng được so sánh bằng benchmark tác vụ và đánh giá mức độ ưa thích của con người.

Các ứng dụng ngoài so sánh model#

Tuyển chọn dữ liệu là một ứng dụng quan trọng. Pipeline CCNet, do các nhà nghiên cứu Facebook AI phát hành năm 2019, chấm điểm các trang Common Crawl bằng model ngôn ngữ được huấn luyện trên Wikipedia rồi chia chúng theo perplexity thành ba nhóm cao, giữa và thấp; nhóm cao có perplexity thấp được xem là văn bản chất lượng cao nhất. Nhiều pipeline tiền huấn luyện lọc dữ liệu web theo cách tương tự, đây là một bước làm sạch dữ liệu ở quy mô web. Các bộ phát hiện văn bản AI như GPTZero cũng chấm điểm perplexity, vì văn bản được lấy mẫu từ model ngôn ngữ thường dễ dự đoán hơn văn bản do con người viết.

Công thức áp dụng cho mọi model được huấn luyện bằng cross-entropy. Model phân loại Ultralytics YOLO26 được huấn luyện bằng hàm mất mát cross-entropy trung bình, nên exp(validation loss) là perplexity trên các nhãn lớp thực tế. Validation loss bằng 0.35 tương ứng với perplexity khoảng 1.42, nghĩa là với một ảnh trung bình, model phân bổ độ tin cậy như thể đang phân vân giữa khoảng 1.4 lớp.