LiveCodeBench

LiveCodeBench là benchmark được cập nhật liên tục để đánh giá mức độ hiệu quả của các model ngôn ngữ AI khi giải quyết bài toán lập trình. Benchmark kiểm tra khả năng model tạo mã chạy được, sửa lỗi và suy luận về hành vi của chương trình. Điểm khác biệt của benchmark là yếu tố thời gian: các bài toán có ngày công bố, cho phép người đánh giá kiểm tra model trên những thử thách được đưa ra sau thời điểm kết thúc dữ liệu huấn luyện—ngày mới nhất được tài liệu huấn luyện đề cập. Điều này giúp phân biệt năng lực giải quyết vấn đề thực sự với khả năng nhớ lại các lời giải từng gặp.

Nguồn gốc và thiết kế benchmark#

Được giới thiệu trong bài báo năm 2024 LiveCodeBench: Đánh giá toàn diện và không bị nhiễm dữ liệu cho các mô hình ngôn ngữ lớn trong lập trình, LiveCodeBench do các nhà nghiên cứu tại UC Berkeley, MIT và Cornell University, dưới sự dẫn dắt của Naman Jain, xây dựng. Benchmark thu thập các bài toán lập trình thi đấu từ LeetCode, AtCoder và Codeforces. Các mốc chuẩn nổi bật ban đầu bao gồm GPT-4 Turbo và Claude 3 Opus, đạt kết quả tốt trên các tác vụ đánh giá; DeepSeek-Instruct-33B và Phind-34B là những mốc chuẩn truy cập mở hàng đầu trong các so sánh ban đầu. Đây là những mốc tham chiếu lịch sử, không phải những model luôn dẫn đầu bảng xếp hạng.

Phiên bản ban đầu, release_v1, có 400 bài toán được công bố từ tháng 5 năm 2023 đến tháng 3 năm 2024. Các bản phát hành trên Hugging Face sau đó đã mở rộng bộ sưu tập, vì vậy LiveCodeBench không có quy mô cố định duy nhất. Để kết quả có thể tái lập, cần nêu rõ bản phát hành và khoảng thời gian đánh giá.

Tương tự các bộ dữ liệu benchmark khác, benchmark này cung cấp các tác vụ và quy trình chấm điểm dùng chung để so sánh model. Thiết kế đánh giá có đóng dấu thời gian còn cho phép người đánh giá chọn một khoảng thời gian chung với các bài toán mới được công bố.

LiveCodeBench đo lường những gì#

LiveCodeBench đánh giá bốn năng lực có liên quan của các mô hình ngôn ngữ lớn—những hệ thống tạo và diễn giải văn bản, bao gồm cả mã nguồn:

• Tạo mã: Tạo chương trình từ mô tả bài toán và các cặp đầu vào-đầu ra ví dụ. Bộ đánh giá chạy lời giải qua các bài kiểm tra bổ sung.
• Tự sửa lỗi: Chỉnh sửa lời giải sai sau khi nhận phản hồi từ quá trình thực thi, chẳng hạn như ngoại lệ hoặc bài kiểm tra thất bại.
• Thực thi mã: Dự đoán đầu ra của chương trình được cung cấp với một đầu vào cụ thể. Ở đây, “thực thi” mô tả tác vụ suy luận của model; bộ đánh giá đối chiếu dự đoán của model với kết quả thực thi thực tế.
• Dự đoán đầu ra kiểm thử: Suy ra đầu ra dự kiến từ đặc tả bài toán và đầu vào được cung cấp mà không nhận mã triển khai.

Sự khác biệt giữa hai tác vụ cuối rất quan trọng. Thực thi mã đặt câu hỏi một chương trình có sẵn làm gì; dự đoán đầu ra kiểm thử đặt câu hỏi một chương trình triển khai đúng nên làm gì. Tự sửa lỗi đánh giá hành vi tiếp nhận phản hồi và chỉnh sửa, vốn cũng được dùng trong lập trình bằng tác tử, nơi các hệ thống AI lập kế hoạch, viết, chạy và chỉnh sửa mã.

Với tác vụ tạo mã, tính đúng đắn về chức năng nghĩa là vượt qua mọi bài kiểm tra bắt buộc. Một chương trình có thể chạy thành công nhưng vẫn cho kết quả sai, trong khi lỗi thực thi có thể khiến chương trình không tạo ra được câu trả lời. Cả hai loại lỗi đều ảnh hưởng đến kết quả benchmark.

Đọc điểm số và hiểu về nhiễm dữ liệu#

Pass@1 đo xác suất một lời giải được tạo ra vượt qua mọi bài kiểm tra bắt buộc, tính trung bình trên các bài toán. Giá trị được báo cáo là 60% nghĩa là khoảng sáu trên mười bài toán được giải theo quy trình đánh giá đã nêu. Điều đó không có nghĩa mỗi chương trình vượt qua 60% số bài kiểm tra.

Để so sánh công bằng, cần khớp bản phát hành bộ dữ liệu, khoảng thời gian, tác vụ và thiết lập tạo sinh. Kỹ thuật viết prompt, thiết lập lấy mẫu, giới hạn đầu ra và số lượt sửa lỗi có thể làm thay đổi kết quả. Việc phân tích riêng theo mức dễ, trung bình và khó cũng cho thấy những khác biệt mà điểm trung bình tổng thể có thể che khuất.

Nhiễm dữ liệu benchmark xảy ra khi các bài toán hoặc lời giải dùng để đánh giá xuất hiện trong dữ liệu huấn luyện của model. Hình thức rò rỉ dữ liệu này có thể làm điểm số tăng giả tạo vì model đã từng gặp nội dung đó. Chọn các bài toán được công bố sau thời điểm kết thúc dữ liệu huấn luyện của model giúp giảm rủi ro này, dù độ tin cậy của mốc thời gian và các bản cập nhật model về sau vẫn cần được xem xét.

Do đó, tuyên bố một model cụ thể “dẫn đầu LiveCodeBench” cần đi kèm ảnh chụp bảng xếp hạng có ngày tháng và các thiết lập đánh giá tương ứng. Nếu thiếu bối cảnh đó, rất khó diễn giải thứ hạng.

Ứng dụng và benchmark liên quan#

LiveCodeBench hỗ trợ so sánh các model lập trình và xác định liệu điểm yếu nằm ở khâu tạo lời giải, hiểu mã hay sửa lỗi. Các tác vụ dựa trên cuộc thi cung cấp căn cứ về năng lực lập trình thuật toán; để đánh giá phát triển phần mềm toàn diện hơn, cần kiểm thử thêm khả năng điều hướng kho mã, quản lý dependency và xử lý tích hợp.

LiveBench là một benchmark riêng, rộng hơn, bao quát các lĩnh vực như suy luận, toán học, ngôn ngữ và lập trình. Tên gọi tương tự không có nghĩa là điểm số có thể thay thế cho nhau.

Với các nhà phát triển xây dựng sản phẩm bằng Ultralytics YOLO, LiveCodeBench cung cấp một chỉ dấu để đánh giá trợ lý lập trình. Một quy trình bổ trợ cụ thể là sử dụng Ultralytics Agent Skills, cung cấp cho các agent lập trình tương thích hướng dẫn về chuẩn bị bộ dữ liệu, huấn luyện, suy luận và xuất model.

Khi trợ lý đó hỗ trợ xây dựng ứng dụng YOLO26, hãy đánh giá riêng mã được tạo ra và model thị giác: chế độ validation đo chất lượng dự đoán, còn chế độ benchmark so sánh độ chính xác và tốc độ suy luận giữa các định dạng triển khai.