Perplexity

Perplexity là một metric đánh giá đo lường mức độ dự đoán chính xác của một probabilistic model đối với một chuỗi token. Perplexity thường được sử dụng nhất trong language modeling, nơi giá trị thấp hơn có nghĩa là model thấy văn bản được đánh giá ít gây bất ngờ hơn. Về mặt trực giác, perplexity bằng 10 cho thấy rằng ở mỗi bước dự đoán, model có độ bất định tương đương với việc chọn giữa 10 phương án có xác suất như nhau. Cách diễn giải này mang tính xấp xỉ, nhưng nó giúp metric trở nên dễ hiểu hơn.

Cách thức hoạt động của Perplexity#

Một language model gán một xác suất cho mỗi token tiếp theo có thể xảy ra dựa trên bối cảnh trước đó. Như đã giải thích trong tài liệu introduction to language models của Google, một autoregressive model sẽ liên tục dự đoán token tiếp theo và thêm nó vào bối cảnh.

Perplexity tóm tắt các xác suất được gán cho các token chính xác trên một chuỗi đánh giá. Perplexity bắt nguồn từ giá trị trung bình negative log-likelihood, thường được thể hiện là cross-entropy:

• Nếu cross-entropy sử dụng logarit tự nhiên, perplexity là e lũy thừa với cross-entropy.
• Nếu cross-entropy sử dụng logarit cơ số 2, perplexity là 2 lũy thừa với cross-entropy.

Google Machine Learning Glossary cung cấp một cách diễn giải liên quan: perplexity xấp xỉ số lần đoán mà một model cần để bao gồm dự đoán chính xác. Các thư viện cũng có thể tính toán trực tiếp perplexity, như được minh họa bởi NLTK language-model perplexity API.

Ví dụ Python tối thiểu này tính toán perplexity từ các xác suất được gán cho bốn token chính xác:

import math

# Probability assigned to the correct token at each position
token_probabilities = [0.50, 0.25, 0.80, 0.40]

negative_log_probs = [-math.log(probability) for probability in token_probabilities]
cross_entropy = sum(negative_log_probs) / len(negative_log_probs)
perplexity = math.exp(cross_entropy)

print(f"Cross-entropy: {cross_entropy:.3f}")
print(f"Perplexity: {perplexity:.3f}")

Phép tính sử dụng math.exp exponential function được ghi chép trong tài liệu của Python. Trong code huấn luyện model, các framework như PyTorch's cross-entropy loss thường tính toán loss trung bình trước khi đưa vào lũy thừa.

Cách diễn giải Perplexity#

Perplexity thấp hơn thường cho biết rằng một model gán xác suất cao hơn cho các token được quan sát. Tuy nhiên, con số này chỉ có ý nghĩa trong một phạm vi so sánh được kiểm soát.

Giả sử Model A có perplexity là 20 và Model B có perplexity là 30 trên cùng một validation data. Model A dự đoán tập dữ liệu đó hiệu quả hơn. Model A không nhất thiết tạo ra các câu trả lời mang tính thực tế, hữu ích, an toàn hoặc dễ đọc hơn.

Perplexity cũng khác với một số khái niệm có liên quan:

• Loss function: Cross-entropy là loss huấn luyện hoặc đánh giá cơ bản, trong khi perplexity là biểu diễn được nâng lên lũy thừa và trực quan hơn của loss huấn luyện hoặc đánh giá cơ bản đó.
• Accuracy: Accuracy kiểm tra xem một dự đoán được chọn có chính xác hay không. Perplexity đánh giá toàn bộ phân phối xác suất được dự đoán, bao gồm cả mức độ xác suất mà model gán cho các phương án thay thế.
• Confidence: Confidence thường mô tả mức độ chắc chắn cho một dự đoán duy nhất. Perplexity tổng hợp độ bất định khi dự đoán trên nhiều vị trí chuỗi.
• Generation quality: Một model có perplexity thấp có thể tạo ra văn bản trôi chảy nhưng lặp đi lặp lại, không chính xác hoặc không hữu ích. Perplexity không đo lường trực tiếp tính xác thực hoặc khả năng suy luận.

Các ứng dụng trong thực tế#

• Predictive text and sequence generation: Các developer có thể so sánh các language model cho các gợi ý bàn phím, phiên âm hoặc tự động hoàn thành bằng cách sử dụng văn bản được giữ lại từ domain dự kiến. Ví dụ, một model có perplexity thấp hơn đối với thuật ngữ y tế có thể cung cấp các dự đoán token tiếp theo tốt hơn trong việc đọc chính tả lâm sàng. Metric này có thể giúp chọn một model trước khi độ trễ và sự chấp nhận của người dùng được đánh giá riêng biệt.

• Image captioning with visual attention: Một image-captioning system thường sử dụng một visual encoder theo sau là một language decoder. Perplexity có thể đo lường mức độ decoder dự đoán các token reference-caption tốt như thế nào khi được cung cấp các image feature. Điều này có liên quan đến vision-language models, mặc dù chỉ riêng perplexity thấp không thể xác định liệu một chú thích có xác định chính xác mọi đối tượng hay tránh được các chi tiết bịa đặt (hallucination) hay không.

Đánh giá dựa trên xác suất cũng có thể hỗ trợ chẩn đoán chuyên sâu. Tài liệu log-probability evaluation guidance của NVIDIA giải thích cách xác suất token có thể được tổng hợp thành các metric như perplexity mà không cần tạo văn bản tự do.

Hạn chế và Thực tiễn tốt nhất#

Không nên so sánh các giá trị perplexity khi các model sử dụng các sơ đồ tokenization khác nhau. Word-level model, character-level model và subword-based large language model phân chia cùng một câu theo các cách khác nhau, làm thay đổi số lượng và độ khó của các bước dự đoán.

Các dataset đánh giá cũng phải khớp với domain mục tiêu. Một model có thể đạt perplexity thấp trên các bài báo tin tức nhưng lại hoạt động kém trên source code hoặc các cuộc hội thoại hỗ trợ kỹ thuật. Hãy tuân theo các machine learning quality guidelines đã được thiết lập bằng cách sử dụng dữ liệu đánh giá riêng biệt, mang tính đại diện và quá trình tiền xử lý nhất quán.

Trong các hệ thống đa phương thức và computer vision, hãy kết hợp perplexity với các biện pháp cụ thể theo tác vụ. Hướng dẫn của Ultralytics về model evaluation and fine-tuning bao gồm các metric như precision, recall và mean average precision cho các dự đoán thị giác. Cùng nhau, các metric ngôn ngữ và thị giác cung cấp một đánh giá hoàn thiện hơn so với chỉ riêng perplexity.