Jagged Intelligence

Trí tuệ lồi lõm mô tả hồ sơ năng lực không đồng đều của các hệ thống AI hiện đại: cùng một model có thể thực hiện các tác vụ khó ở trình độ chuyên gia nhưng thất bại ở những việc đơn giản mà hầu hết mọi người thấy hiển nhiên. Năm 2024, Andrej Karpathy đặt ra thuật ngữ này để mô tả model ngôn ngữ lớn (LLM) có thể giải các bài toán khó nhưng vẫn khăng khăng rằng 9.11 lớn hơn 9.9. Việc đếm sai chữ “r” trong “strawberry” trở thành một ví dụ nổi tiếng khác. Khi biểu diễn năng lực của model trên nhiều tác vụ thành đồ thị, ta có một đường lồi lõm với các đỉnh cao và thung lũng sâu; vị trí các thung lũng khó dự đoán từ các đỉnh.

Vì sao năng lực không đồng đều#

Một model hoạt động hiệu quả nhất ở những lĩnh vực mà dữ liệu huấn luyện phong phú và biểu diễn nội tại của model phù hợp với tác vụ; cả hai điều kiện này đều khác biệt đáng kể giữa tác vụ này và tác vụ khác. Cách biểu diễn giải thích nhiều lỗi nổi tiếng trong xử lý văn bản. Token hóa chia văn bản thành các token dưới từ trước khi model tiếp nhận, như bộ tokenizer của OpenAI dành cho GPT-4o cho thấy:

import tiktoken

# o200k_base là tokenizer được GPT-4o của OpenAI sử dụng
encoding = tiktoken.get_encoding("o200k_base")

for question in ["How many r letters are in strawberry?", "Which is bigger, 9.11 or 9.9?"]:
    tokens = [encoding.decode([t]) for t in encoding.encode(question)]
    print(tokens)

Từ “ strawberry” được đưa vào dưới dạng một token duy nhất, vì vậy model không bao giờ nhìn thấy ba chữ r và phải nhớ cách viết từ văn bản huấn luyện. Các con số được đưa vào dưới dạng “9”, “.”, “11” và “9”, “.”, “9”; trong phần lớn văn bản đó, những cặp như vậy là số phiên bản, ngày tháng hoặc chương sách, trong đó 9.11 thực sự đứng sau 9.9 và 11 lớn hơn 9. Model trả lời dựa trên các mẫu đó thay vì thực hiện phép so sánh số học.

Độ bao phủ dữ liệu giải thích phần lớn những trường hợp còn lại. Các kỹ năng xuất hiện thường xuyên trong dữ liệu huấn luyện trở nên đáng tin cậy, còn định dạng hiếm, cách diễn đạt khác thường và trường hợp biên vẫn yếu, dù chúng có vẻ đơn giản với con người. Model thị giác cũng thể hiện cùng khuynh hướng. Model phát hiện đối tượng có thể hoạt động xuất sắc với các đối tượng phổ biến, kích thước lớn trong ánh sáng ban ngày nhưng yếu hơn nhiều với đối tượng nhỏ, lớp hiếm hoặc góc nhìn khác thường, dù con người thấy tất cả đều dễ như nhau.

Tính lồi lõm khác với nghịch lý Moravec, nhận xét năm 1988 của Hans Moravec rằng các tác vụ khó với con người như chơi cờ lại dễ với máy tính, trong khi những kỹ năng con người thực hiện dễ dàng như nhận thức và vận động lại khó. Năng lực lồi lõm không tuân theo độ khó đối với con người theo cả hai chiều, vì vậy trực giác về điều gì “dễ” không phải là chỉ dẫn đáng tin cậy để biết model sẽ thất bại ở đâu.

Ranh giới lởm chởm trong công việc#

Sự không đồng đều tương tự cũng định hình cách con người làm việc với AI. Trong thí nghiệm thực địa năm 2023 với 758 chuyên gia tư vấn của Boston Consulting Group, các nhà nghiên cứu tại Trường Kinh doanh Harvard và những đơn vị khác mô tả một biên giới công nghệ lồi lõm. Với 18 tác vụ nằm trong biên giới, các chuyên gia tư vấn dùng GPT-4 hoàn thành nhiều hơn 12,2% số tác vụ, làm việc nhanh hơn 25,1% và tạo ra sản phẩm được đánh giá có chất lượng cao hơn 40%. Với một tác vụ nằm ngay bên ngoài biên giới, những người có AI hỗ trợ ít có khả năng đưa ra câu trả lời đúng hơn 19 điểm phần trăm so với những người làm việc không có AI. Trí tuệ lồi lõm gọi tên hồ sơ năng lực không đồng đều của model; biên giới lồi lõm gọi tên ranh giới hình thành giữa những công việc được AI hỗ trợ và những công việc âm thầm trở nên tệ hơn vì AI.

Tính lồi lõm cũng khiến việc tuyên bố về trí tuệ nhân tạo tổng quát (AGI) trở nên phức tạp. Điểm số trung bình trên một bộ dữ liệu benchmark rộng có thể tăng đều trong khi các thung lũng cụ thể vẫn còn nguyên, vì vậy điểm trung bình được công bố không nói lên nhiều điều về độ tin cậy của model trên bất kỳ tác vụ riêng lẻ nào.

Đo lường hồ sơ năng lực lởm chởm#

Năng lực không đồng đều trở nên rõ ràng khi đánh giá được chia thành các lát cắt thay vì báo cáo bằng một con số duy nhất. Với bộ phát hiện, lát cắt đầu tiên là theo lớp. Validation mode của Ultralytics YOLO26 báo cáo độ chính xác trung bình trung bình (mAP) tổng thể và theo từng lớp trong nhãn validation; sắp xếp các chỉ số theo lớp sẽ đưa những điểm yếu lên đầu:

from ultralytics import YOLO

# Validate a pretrained detector on labeled images
model = YOLO("yolo26n.pt")
metrics = model.val(data="coco8.yaml")

# One row per class in the validation labels, weakest first
rows = sorted(metrics.summary(), key=lambda row: row["mAP50-95"])
print(f"Overall mAP50-95: {metrics.box.map:.3f}")
for row in rows[:3]:
    print(f"{row['Class']}: {row['mAP50-95']} mAP50-95 over {row['Instances']} instances")

Trên toàn bộ tập validation, chẳng hạn 5.000 ảnh của COCO, cùng bản phân tích này chỉ ra những lớp cần thêm dữ liệu hoặc cần xem xét kỹ hơn nhãn. Lớp chỉ là lát cắt đầu tiên. Ánh sáng, góc camera, chuyển động và vật cản che khuất đều có thể tạo ra thung lũng riêng; kiểm thử model trên ảnh mới được chụp trong các điều kiện đó sẽ làm lộ chúng:

Sau khi triển khai, hồ sơ năng lực tiếp tục thay đổi khi đầu vào biến đổi; theo dõi data drift cho thấy khi nào ảnh production bắt đầu rơi vào những vùng mà tập validation chưa từng bao phủ.