GPT-4

GPT-4 — четвёртая модель серии GPT (генеративный предварительно обученный Transformer), большая мультимодальная модель, выпущенная 14 марта 2023 года. Она принимает изображения и текст и генерирует текст. Модель сдала имитационный экзамен на адвокатскую лицензию с результатом примерно выше, чем у 90% участников; GPT-3.5 оказалась примерно в нижних 10%. GPT-4 стала моделью для ChatGPT Plus и Bing Chat от Microsoft. В техническом отчёте GPT-4 не раскрыли архитектуру, размер модели, оборудование, объём вычислений при обучении и способ формирования набора данных, сославшись на конкуренцию и безопасность. Поэтому число параметров GPT-4 так и не опубликовали.

Возможности и результаты тестов#

GPT-4 набрала 86.4% в тесте на знания MMLU против 70.0% у GPT-3.5. Когда OpenAI перевела MMLU на 26 языков, GPT-4 превзошла результаты предшествующих моделей на английском в 24 из них. В первой версии контекстное окно составляло 8 192 токена; также была версия на 32 768 токенов, тогда как у GPT-3.5 было 4 096 токенов. OpenAI также сообщила, что до завершения обучения смогла предсказать часть результатов GPT-4 с помощью моделей, использовавших не более 1/1 000 её вычислительных ресурсов. Это пример применения законов масштабирования.

Модель по-прежнему галлюцинирует. Внутренние тесты OpenAI на устойчивость к состязательным примерам показали, что её результат на 19 процентных пунктов выше, чем у GPT-3.5. Однако данные для предварительного обучения завершались сентябрём 2021 года, поэтому модель не знала о более поздних событиях. Её возможности также были неравномерны: полевой эксперимент 2023 года с участием 758 консультантов Boston Consulting Group показал, что GPT-4 повышала качество их работы над задачами, которые ей по силам, и снижала точность в задаче, немного выходившей за пределы её возможностей. Этот эффект называют рваным интеллектом.

Обучение и согласование#

GPT-4 предварительно обучали предсказывать следующий токен на общедоступных и лицензированных данных, а затем дообучили с помощью обучения с подкреплением на основе отзывов людей (RLHF). Перед выпуском OpenAI потратила шесть месяцев на настройку модели и привлекла более 50 экспертов для тестирования на устойчивость к атакам — разновидности стресс-тестирования ИИ. Наряду с обычной моделью вознаграждения, обученной на ранжировании предпочтений людей, добавили модели вознаграждения на основе правил: классификаторы GPT-4, работающие в режиме zero-shot, которые оценивают каждый ответ по составленной человеком рубрике, поощряя отказы от вредоносных запросов и ответы на заведомо безопасные запросы.

По сравнению с GPT-3.5 модель на 82% реже отвечала на запросы с запрещённым содержанием и на 29% чаще соблюдала правила OpenAI при обработке чувствительных запросов, например о медицинских рекомендациях.

Ввод изображений#

GPT-4 могла читать диаграммы, скриншоты, рукописные заметки и фотографии, а в демонстрации при запуске преобразовала нарисованный от руки эскиз сайта в рабочий HTML. Впервые ввод изображений стал доступен в Be My Eyes: функция Be My AI описывает окружающую обстановку для незрячих и слабовидящих пользователей. В сентябре 2023 года эта функция появилась в ChatGPT под названием GPT-4V. GPT-4 с поддержкой зрения — это визуально-языковая модель (VLM), а такие открытые VLM, как LLaVA, использовали GPT-4 только с текстовым вводом, чтобы создавать обучающие диалоги для настройки на визуальные инструкции.

GPT-4 отвечает текстом и плохо справляется с задачами, требующими точной пространственной локализации, например с рисованием точных ограничивающих боксов, поэтому конвейеры компьютерного зрения сочетают ее со специализированной моделью обнаружения объектов. Интерфейс LLM Ultralytics объединяет их в одном скрипте: YOLO26 находит объекты в кадре и определяет их местоположение, а аргумент image интерфейса отправляет этот кадр с запросом визуальной модели, совместимой с OpenAI, если для обнаруженных объектов нужно текстовое описание. Более поздние модели OpenAI, например GPT-6.1 Sol и GPT-6 Astra, могут сами возвращать ограничивающие боксы, а таблица лидеров VLM измеряет точность обнаружения объектов в реальных наборах данных у них и других визуально-языковых моделей.

Преемники и родственные модели#

GPT-3, выпущенная в 2020 году, была текстовой моделью со 175 миллиардами параметров и контекстом в 2 048 токенов. GPT-4 Turbo, представленная в ноябре 2023 года, увеличила контекст до 128 000 токенов и снизила цену. GPT-4o, выпущенная в мае 2024 года, обрабатывала текст, аудио и изображения в одной сети и отвечала голосом всего за 232 миллисекунды. В апреле 2025 года GPT-4.1 добавила в API контекст размером в 1 миллион токенов. Модели рассуждения, например o1, пошли другим путём: их обучали с помощью обучения с подкреплением составлять длинную цепочку рассуждений перед ответом. В августе 2025 года GPT-5 объединила быстрые модели и модели рассуждения за маршрутизатором.

30 апреля 2025 года OpenAI заменила GPT-4 на GPT-4o в ChatGPT, а согласно графику вывода из эксплуатации API для gpt-4 и gpt-4-turbo отключится 23 октября 2026 года; рекомендуемой заменой станет gpt-5.6-sol.