LiveCodeBench
LiveCodeBench проверяет LLM на конкурсных задачах, опубликованных после даты отсечения обучающих данных, оценивая генерацию кода, самостоятельное исправление ошибок, выполнение и предсказание результатов тестов.
LiveCodeBench — постоянно обновляемый бенчмарк для оценки способности больших языковых моделей (LLM) писать код. Он основан на задачах спортивного программирования с LeetCode, AtCoder и Codeforces. Для каждой задачи указана дата публикации соревнования, поэтому модель можно оценивать только на задачах, опубликованных после даты отсечения обучающих данных, — таких, которые модель не могла видеть во время обучения. Наман Джейн и его коллеги из UC Berkeley, MIT и Cornell представили бенчмарк в марте 2024 года в статье «LiveCodeBench: комплексная оценка больших языковых моделей для написания кода без утечки данных». На его таблице лидеров можно выбрать временной интервал для сравнения.
Почему важны даты публикации задач#
Старые бенчмарки для оценки кода, например HumanEval — 164 задачи на Python, составленные OpenAI в 2021 году, — уже много лет распространяются в интернете, а их решения попадают в веб-тексты, из которых собирают обучающие данные. Поэтому модель может показать высокий результат, просто вспомнив ответы. Такая форма утечки данных называется загрязнением бенчмарка. Авторы LiveCodeBench проверили это напрямую: модели для программирования DeepSeek и GPT-4o показали гораздо худшие результаты на задачах LeetCode, опубликованных после их выхода или заявленной даты отсечения обучающих данных, чем на более старых задачах. В статье также обнаружена группа дообученных моделей с открытым исходным кодом, которые хорошо справлялись с HumanEval+, но плохо — с новыми задачами. Например, DeepSeek-Coder-Instruct 1.3B решила 59,8% задач HumanEval+, но только 26,3% простых задач LiveCodeBench, что указывает на переобучение на старый бенчмарк.
Коллекция пополняется с каждым выпуском набора данных на Hugging Face. В первом выпуске release_v1 было 400 задач, опубликованных с мая 2023 по март 2024 года, а в release_v6 — 1 055 задач, опубликованных до апреля 2025 года. Поэтому для воспроизводимого результата нужно указывать выпуск и временной интервал.
Четыре сценария#
LiveCodeBench оценивает не только написание кода: полезная модель для программирования должна также уметь читать, запускать и отлаживать его:
- Генерация кода: напиши программу по условию задачи, примерам входных и выходных данных. Оценщик запускает её на скрытых тестах; решение засчитывается, только если проходит все тесты.
- Самостоятельное исправление: исправь неверное решение после получения сообщения об ошибке или провалившегося теста — тот же цикл обратной связи, который самостоятельно выполняют инструменты для агентного программирования.
- Выполнение кода: предскажи, что выведет заданная программа для указанного ввода. Эта задача проверяет, может ли модель проследить ход выполнения кода, не запуская его.
- Предсказание результатов тестов: предскажи правильный результат для входных данных, опираясь только на условие задачи. Это умение нужно, чтобы писать тесты до появления реализации.
При выполнении кода нужно определить, что делает существующая программа, а при предсказании результатов тестов — что должна делать правильная программа. Авторы статьи обнаружили, что относительный порядок моделей в основном сохраняется во всех четырёх сценариях, хотя разрыв между моделями в каждом сценарии различается.
Как оценивать результаты LiveCodeBench#
Основная метрика — pass@1: вероятность того, что одно сгенерированное решение пройдёт все скрытые тесты, усреднённая по задачам. В статье она оценивается по 10 образцам на задачу с помощью nucleus sampling при температуре 0,2. Эта метрика входит в семейство pass@k, описанное в разделе об оценке агентов. Результаты также разбиваются по уровням сложности: простой, средний и сложный. Разработка промптов, ограничения на длину вывода и временной интервал влияют на результаты, поэтому значения в таблице лидеров сравнивают только при одинаковых настройках.
LiveCodeBench измеряет результаты на автономных алгоритмических задачах. SWE-bench оценивает исправление ошибок на уровне репозитория, а LiveBench, несмотря на похожее название, — отдельный универсальный бенчмарк, который также регулярно обновляет вопросы, чтобы снизить риск загрязнения. В Humanity's Last Exam и GPQA для снижения того же риска утечки используют закрытые отложенные вопросы и строки-маяки, а не даты публикации.
Дата отсечения обучающих данных также ограничивает знания модели для программирования о версиях библиотек, выпущенных позже. Навыки агента Ultralytics устраняют этот пробел для ИИ-агентов, которые пишут код для YOLO26: они предоставляют каталоги названий весов, аргументов обучения и форматов экспорта, привязанные к конкретному выпуску ultralytics, и указывают агенту доверять установленному пакету, если сведения расходятся.










