Large Language Model (LLM)

Большая языковая модель (LLM) — это нейронная сеть, почти всегда основанная на архитектуре Transformer, с миллиардами параметров, обученная на триллионах токенов текста предсказывать следующий токен в последовательности. Эта единственная цель, применённая в большом масштабе, позволяет моделям отвечать на вопросы, составлять краткие изложения документов, переводить, писать код и вызывать программные инструменты. GPT от OpenAI, Claude от Anthropic и Gemini от Google — семейства LLM, доступные через API; Meta Llama, Alibaba Qwen, DeepSeek, Mistral и gpt-oss от OpenAI публикуют веса моделей с открытым доступом. Архитектура Transformer появилась в статье 2017 года Attention Is All You Need; GPT-3 в 2020 году показала, что модель со 175 миллиардами параметров может осваивать задачи на примерах из запроса, а ChatGPT вывел LLM на массовую аудиторию в ноябре 2022 года.

Как работают LLM#

Сначала LLM выполняет токенизацию, преобразуя текст в идентификаторы токенов, и находит для каждого из них вектор эмбеддинга. Затем векторы проходят через стек одинаковых блоков. Каждый блок сочетает причинный механизм внимания к себе, позволяющий каждому токену получать информацию от предыдущих токенов, с полносвязным слоем, который преобразует каждый токен отдельно. Последний блок выдаёт вероятности softmax для всех токенов словаря; модель выбирает один токен, добавляет его к последовательности и повторяет процесс — так работает генерация текста:

Размер измеряют числом параметров, и многие современные модели разреженные. В смеси экспертов (MoE) маршрутизатор направляет каждый токен через нескольких из множества полносвязных экспертов, поэтому DeepSeek-V3 содержит 671 миллиард параметров, но использует 37 миллиардов на токен. Объём текста, который модель может прочитать за раз, — её контекстное окно — вырос с 2048 токенов у GPT-3 до миллиона токенов и более у ряда современных моделей. Для обработки таких длинных входных данных необходим KV-кэш, который хранит ключи и значения внимания для каждого предыдущего токена.

Как обучают LLM#

Предварительное обучение — это обучение с самоконтролем: модель предсказывает каждый следующий токен веб-страниц, книг и кода без человеческих меток. Законы масштабирования предсказывают, как снижается потеря при увеличении числа параметров, данных и вычислений; исследование DeepMind Chinchilla показало, что при оптимальном соотношении вычислений на обучение приходится около 20 токенов на параметр. Сейчас модели обучают при гораздо более высоком соотношении: Meta предварительно обучила Llama 3 на примерно 15 триллионах токенов. Постобучение превращает полученную базовую модель в ассистента. Настройка по инструкциям учит её выполнять запросы, а обучение с подкреплением на основе обратной связи от людей (RLHF) или прямая оптимизация предпочтений согласует ответы с предпочтениями людей. Результаты InstructGPT от OpenAI показали, что разметчики предпочитали настроенную модель с 1,3 миллиарда параметров модели GPT-3 со 175 миллиардами параметров. Модели рассуждений, такие как o1 от OpenAI и DeepSeek-R1, добавляют масштабное обучение с подкреплением; в случае DeepSeek-R1 это обучение с подкреплением на проверяемых вознаграждениях для математических задач и программирования с проверяемыми ответами, которое учит модели подробно излагать цепочки рассуждений перед ответом. Затем команды адаптируют модель к своей предметной области с помощью дообучения, часто используя LoRA, либо оставляют веса неизменными и передают знания через генерацию с дополнением извлечёнными данными (RAG).

Применение#

LLM лежат в основе чат-ботов и ассистентов, агентных инструментов программирования, которые редактируют и тестируют целые репозитории, поиска и ответов на вопросы по документам, а также ИИ-агентов, планирующих многоэтапные задачи с помощью вызова функций. Добавление энкодера изображений превращает LLM в визуально-языковую модель (VLM), которая отвечает на вопросы о фотографиях, диаграммах и видеокадрах. Крупные семейства LLM тоже читают изображения, а таблица лидеров VLM Ultralytics сравнивает точность обнаружения объектов в реальных наборах данных у моделей GPT-6.1 Sol, Claude Opus 5.5 и Gemini 4 Argon. Интерфейс LLM Ultralytics отправляет текст или изображения моделям, совместимым с OpenAI, от OpenAI, DeepSeek, Kimi, Z.AI, OpenRouter или локального сервера. Благодаря этому конвейер YOLO26 может обращаться к LLM только тогда, когда нужно объяснить результат обнаружения, например описать сцену после появления человека.

LLM и родственные понятия#

• Обработка естественного языка (NLP): Область информатики, посвящённая работе с человеческим языком. Сегодня LLM — её основной тип моделей.
• Генеративный ИИ: Любая модель, создающая новый контент, включая генераторы изображений, аудио и видео.
• Базовая модель: Более широкая категория больших моделей, предварительно обученных на разнообразных данных и адаптируемых для множества задач. Термин предложили исследователи Стэнфорда в 2021 году. К этой категории относятся как базовые модели компьютерного зрения, так и LLM.
• Малая языковая модель (SLM): Достаточно компактная языковая модель для смартфонов, ноутбуков или недорогого обслуживания запросов; обычно у неё несколько миллиардов параметров или меньше.

Ограничения#

LLM генерируют связный текст независимо от того, соответствует ли он действительности, поэтому галлюцинации остаются главным риском при работе с фактами. После отсечения обучающих данных модель ничего не знает, если это ей не предоставят через поиск или инструменты. Обучающие данные передают модели свои предубеждения, а инструкции, скрытые в веб-страницах или документах, могут захватить управление агентом через инъекцию промпта. Точность также падает при сильном увеличении контекста — этот эффект называется ухудшением контекста. Для обслуживания LLM требуется много памяти: модели с 70 миллиардами параметров нужно около 140 ГБ для весов в 16-битном формате и около 35 ГБ в 4-битном, поэтому форматы квантования моделей, такие как GGUF, позволяют запускать такие модели на одной рабочей станции.