Лицензия YOLO
Назад к глоссарию Ultralytics

LiveCodeBench

LiveCodeBench проверяет LLM на конкурсных задачах, опубликованных после даты отсечения обучающих данных, оценивая генерацию кода, самостоятельное исправление ошибок, выполнение и предсказание результатов тестов.

LiveCodeBench — постоянно обновляемый бенчмарк для оценки способности больших языковых моделей (LLM) писать код. Он основан на задачах спортивного программирования с LeetCode, AtCoder и Codeforces. Для каждой задачи указана дата публикации соревнования, поэтому модель можно оценивать только на задачах, опубликованных после даты отсечения обучающих данных, — таких, которые модель не могла видеть во время обучения. Наман Джейн и его коллеги из UC Berkeley, MIT и Cornell представили бенчмарк в марте 2024 года в статье «LiveCodeBench: комплексная оценка больших языковых моделей для написания кода без утечки данных». На его таблице лидеров можно выбрать временной интервал для сравнения.

Почему важны даты публикации задач#

Старые бенчмарки для оценки кода, например HumanEval — 164 задачи на Python, составленные OpenAI в 2021 году, — уже много лет распространяются в интернете, а их решения попадают в веб-тексты, из которых собирают обучающие данные. Поэтому модель может показать высокий результат, просто вспомнив ответы. Такая форма утечки данных называется загрязнением бенчмарка. Авторы LiveCodeBench проверили это напрямую: модели для программирования DeepSeek и GPT-4o показали гораздо худшие результаты на задачах LeetCode, опубликованных после их выхода или заявленной даты отсечения обучающих данных, чем на более старых задачах. В статье также обнаружена группа дообученных моделей с открытым исходным кодом, которые хорошо справлялись с HumanEval+, но плохо — с новыми задачами. Например, DeepSeek-Coder-Instruct 1.3B решила 59,8% задач HumanEval+, но только 26,3% простых задач LiveCodeBench, что указывает на переобучение на старый бенчмарк.

Коллекция пополняется с каждым выпуском набора данных на Hugging Face. В первом выпуске release_v1 было 400 задач, опубликованных с мая 2023 по март 2024 года, а в release_v6 — 1 055 задач, опубликованных до апреля 2025 года. Поэтому для воспроизводимого результата нужно указывать выпуск и временной интервал.

Четыре сценария#

LiveCodeBench оценивает не только написание кода: полезная модель для программирования должна также уметь читать, запускать и отлаживать его:

  • Генерация кода: напиши программу по условию задачи, примерам входных и выходных данных. Оценщик запускает её на скрытых тестах; решение засчитывается, только если проходит все тесты.
  • Самостоятельное исправление: исправь неверное решение после получения сообщения об ошибке или провалившегося теста — тот же цикл обратной связи, который самостоятельно выполняют инструменты для агентного программирования.
  • Выполнение кода: предскажи, что выведет заданная программа для указанного ввода. Эта задача проверяет, может ли модель проследить ход выполнения кода, не запуская его.
  • Предсказание результатов тестов: предскажи правильный результат для входных данных, опираясь только на условие задачи. Это умение нужно, чтобы писать тесты до появления реализации.

При выполнении кода нужно определить, что делает существующая программа, а при предсказании результатов тестов — что должна делать правильная программа. Авторы статьи обнаружили, что относительный порядок моделей в основном сохраняется во всех четырёх сценариях, хотя разрыв между моделями в каждом сценарии различается.

Как оценивать результаты LiveCodeBench#

Основная метрика — pass@1: вероятность того, что одно сгенерированное решение пройдёт все скрытые тесты, усреднённая по задачам. В статье она оценивается по 10 образцам на задачу с помощью nucleus sampling при температуре 0,2. Эта метрика входит в семейство pass@k, описанное в разделе об оценке агентов. Результаты также разбиваются по уровням сложности: простой, средний и сложный. Разработка промптов, ограничения на длину вывода и временной интервал влияют на результаты, поэтому значения в таблице лидеров сравнивают только при одинаковых настройках.

LiveCodeBench измеряет результаты на автономных алгоритмических задачах. SWE-bench оценивает исправление ошибок на уровне репозитория, а LiveBench, несмотря на похожее название, — отдельный универсальный бенчмарк, который также регулярно обновляет вопросы, чтобы снизить риск загрязнения. В Humanity's Last Exam и GPQA для снижения того же риска утечки используют закрытые отложенные вопросы и строки-маяки, а не даты публикации.

Дата отсечения обучающих данных также ограничивает знания модели для программирования о версиях библиотек, выпущенных позже. Навыки агента Ultralytics устраняют этот пробел для ИИ-агентов, которые пишут код для YOLO26: они предоставляют каталоги названий весов, аргументов обучения и форматов экспорта, привязанные к конкретному выпуску ultralytics, и указывают агенту доверять установленному пакету, если сведения расходятся.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения