Подробный обзор возможностей GPT-4o Mini от OpenAI

В мае 2024 года OpenAI выпустила GPT-4o, а всего два месяца спустя представила следующую модель — GPT-4o Mini. 18 июля 2024 года OpenAI выпустила GPT-4o Mini, назвав ее «самой экономичной компактной моделью». GPT-4o Mini — компактная модель, развивающая возможности предыдущих моделей и призванная сделать передовой ИИ доступнее и дешевле.

Сейчас GPT-4o Mini поддерживает взаимодействие с текстом и изображениями, а в будущих обновлениях ожидается поддержка изображений, видео и аудио. В этой статье мы расскажем, что такое GPT-4o Mini, чем она примечательна, как ее можно использовать, чем она отличается от GPT-4o и как применять ее в разных задачах машинного зрения.

Что такое GPT-4o Mini?#

GPT-4o Mini — новейшее дополнение к линейке моделей ИИ от OpenAI, созданное с расчетом на более низкую стоимость и широкую доступность. Это мультимодальная большая языковая модель (LLM), то есть она может обрабатывать данные разных типов, например текст и изображения. Модель развивает сильные стороны предыдущих моделей, таких как GPT-4 и GPT-4o, предлагая широкие возможности в компактном формате.

GPT-4o Mini на 60% дешевле GPT-3.5 Turbo: миллион входных токенов (единиц текста или данных, которые обрабатывает модель) стоит 15 центов, а миллион выходных токенов (единиц, которые модель генерирует в ответ) — 60 центов. Для сравнения: миллион токенов — это примерно 2500 страниц текста. Благодаря контекстному окну на 128K токенов и возможности обрабатывать до 16K выходных токенов за запрос GPT-4o Mini сочетает эффективность и доступную стоимость.

Рис. 1. GPT-4o Mini на 60% дешевле GPT-3.5 Turbo.

Ключевые возможности GPT-4o Mini#

GPT-4o Mini поддерживает множество задач и подходит для разных приложений. Ее можно использовать для одновременного выполнения нескольких операций, например вызова нескольких API, обработки больших объемов данных — таких как полные кодовые базы или истории переписки — и быстрого ответа в реальном времени в чат-ботах службы поддержки.

Вот ещё несколько ключевых возможностей:

• Актуальность базы знаний: знания модели ограничены октябрем 2023 года.
• Улучшенный токенизатор: GPT-4o Mini позволяет экономичнее обрабатывать тексты на других языках.
• Надёжные меры безопасности: они включают фильтрацию вредоносного контента и защиту от угроз, таких как инъекции промптов и манипуляции системой.

Начало работы с GPT-4o Mini#

Попробовать GPT-4o Mini можно через интерфейс ChatGPT. Модель доступна пользователям тарифов Free, Plus и Team и заменяет GPT-3.5, как показано ниже. Вскоре доступ получат и пользователи Enterprise — это соответствует цели OpenAI сделать преимущества ИИ доступными для всех. Разработчики также могут использовать GPT-4o Mini через API и интегрировать ее возможности в свои приложения. Сейчас возможности работы с изображениями доступны только через API.

Рис. 2. Варианты моделей в ChatGPT.

Различия между GPT-4o и GPT-4o Mini#

GPT-4o и GPT-4o Mini показывают отличные результаты в различных тестах. Хотя GPT-4o обычно превосходит GPT-4o Mini, последняя остаётся экономичным решением для повседневных задач. Тесты охватывают рассуждения, математические задачи, программирование и мультимодальные рассуждения. Как видно на изображении ниже, по результатам тестов GPT-4o Mini опережает многие другие популярные модели.

Рис. 3. Сравнение GPT-4o Mini с другими популярными моделями.

Пробуем GPT-4o и GPT-4o Mini на практике#

В интернете активно обсуждали любопытный промпт, в котором популярные LLM неправильно сравнивают десятичные числа. Когда мы проверили GPT-4o и GPT-4o Mini, различия в их способностях к рассуждению стали очевидны. На изображении ниже мы попросили обе модели определить, какое число больше — 9.11 или 9.9, — и объяснить ход рассуждений.

Рис. 4. Проверка GPT-4o и GPT-4o Mini.

Сначала обе модели отвечают неправильно и утверждают, что 9.11 больше. Однако GPT-4o пересматривает ход рассуждений, приходит к правильному ответу и указывает, что больше 9.9. Модель подробно объясняет свой вывод и корректно сравнивает десятичные числа. GPT-4o Mini, напротив, упорно придерживается первоначального неверного ответа, хотя правильно рассуждает о том, почему 9.9 больше.

Обе модели хорошо справляются с рассуждениями. Способность GPT-4o исправлять свои ошибки делает её более эффективной для сложных задач. GPT-4o Mini менее гибкая, но всё же даёт понятные и точные ответы на более простые вопросы.

Использование GPT-4o Mini для решения различных задач компьютерного зрения#

Если ты хочешь изучить возможности GPT-4o Mini в работе с изображениями, не погружаясь в код, можешь легко протестировать API на OpenAI Playground. Мы сами проверили, насколько хорошо GPT-4o Mini справляется с разными задачами компьютерного зрения.

Классификация изображений с помощью GPT-4o Mini#

Мы попросили GPT-4o Mini классифицировать два изображения: одно с бабочкой, другое с картой. Модель ИИ правильно распознала бабочку и карту. Это довольно простая задача, поскольку изображения сильно отличаются друг от друга.

Рис. 5. Классификация изображений с помощью GPT-4o Mini.

Затем мы загрузили в модель ещё два изображения: на одном бабочка сидела на растении, на другом — на земле. ИИ снова отлично справился, правильно распознав бабочку и на растении, и на земле. Тогда мы усложнили задачу.

Рис. 6. Классификация похожих изображений с помощью GPT-4o Mini.

Затем мы попросили GPT-4o Mini классифицировать два изображения: на одном бабочка питается цветами ваточника болотного, на другом — цветком циннии. Примечательно, что модель смогла присвоить настолько точную метку без дополнительной тонкой настройки. Эти примеры показывают, что GPT-4o Mini, возможно, можно использовать для задач классификации изображений без специального обучения.

Рис. 7. Классификация детализированных изображений с помощью GPT-4o Mini.

Распознавание поз с помощью GPT-4o Mini#

На момент написания статьи GPT-4o Mini не справляется с такими задачами машинного зрения, как обнаружение объектов и сегментация экземпляров. GPT-4o может попробовать выполнить такие задачи, но ее точность ограничена. Кроме того, при анализе поз модель не может обнаруживать ключевые точки или оценивать позу на изображении, но способна классифицировать и описывать ее.

Рис. 8. Использование GPT-4o Mini для распознавания поз на изображении.

На изображении выше показано, как GPT-4o Mini может классифицировать позы и понимать их, хотя и не умеет обнаруживать или оценивать точные координаты позы. Это может быть полезно в разных приложениях. Например, в спортивной аналитике модель может в общих чертах оценивать движения спортсменов и помогать предотвращать травмы. В физиотерапии она может помогать отслеживать выполнение упражнений, чтобы пациенты правильно двигались во время реабилитации. В системах видеонаблюдения модель может выявлять подозрительную активность, анализируя общий язык тела. GPT-4o Mini не может обнаруживать конкретные ключевые точки, но способность классифицировать позы в целом делает ее полезной в этих и других областях. Более новые модели OpenAI, такие как GPT-6 Luna и GPT-6.1 Sol, умеют строить ограничивающие рамки, а таблица лидеров VLM Ultralytics сравнивает точность обнаружения объектов на реальных датасетах.

Для каких задач подходит GPT-4o Mini#

Мы рассмотрели возможности GPT-4o Mini. Теперь обсудим, для каких приложений она подходит лучше всего.

GPT-4o Mini хорошо подходит для приложений, которым нужны расширенные возможности понимания естественного языка при небольших вычислительных затратах. Она позволяет интегрировать ИИ в приложения, где это обычно обходится слишком дорого. Подробный анализ Artificial Analysis показывает, что GPT-4o Mini выдает качественные ответы быстрее большинства других моделей.

Рис. 9. Качество ответов и скорость генерации GPT-4o Mini.

Вот несколько ключевых областей, где она может быть полезна:

• Виртуальные помощники и чат-боты: GPT-4o Mini может быстро и точно отвечать на запросы, улучшая взаимодействие с пользователями.
• Образовательные инструменты: на основе модели можно создавать инструменты для персонализированного обучения и генерации контента.
• Инструменты для повышения продуктивности: модель может упрощать задачи, например составление краткого содержания документов, написание электронных писем и перевод текстов, повышая эффективность работы.
• Перевод текстов: GPT-4o Mini можно использовать для создания переводчиков, которые обеспечивают точный машинный перевод в реальном времени и помогают людям, говорящим на разных языках, лучше понимать друг друга.

GPT-4o Mini открывает новые возможности#

GPT-4o Mini открывает новые возможности для мультимодального ИИ будущего. Стоимость обработки каждой единицы текста или данных, известная как цена за токен, с 2022 года, когда вышла text-davinci-003 — модель GPT-3, — снизилась почти на 99%. Это явно показывает, что передовой ИИ становится доступнее. По мере развития моделей ИИ интеграция ИИ в каждое приложение и на каждый сайт все чаще становится экономически целесообразной.

Хочешь попробовать ИИ на практике? Загляни в наш репозиторий на GitHub, чтобы узнать о наших новинках и стать частью нашего активного сообщества. Узнай больше о применении ИИ в производстве и сельском хозяйстве на страницах наших решений.