Подробный разбор возможностей GPT-4o Mini от OpenAI

В мае 2024 года OpenAI выпустила GPT-4o, а теперь, всего три месяца спустя, компания возвращается с ещё одной впечатляющей моделью: GPT-4o Mini. 18 июля 2024 года OpenAI представила GPT-4o Mini. Компания называет её «самой экономичной моделью»! GPT-4o Mini — компактная модель, развивающая возможности предыдущих моделей и призванная сделать передовой ИИ более доступным и недорогим.

В настоящее время GPT-4o Mini поддерживает взаимодействие с текстом и изображениями, а в будущих обновлениях ожидается добавление возможностей работы с изображениями, видео и аудио. В этой статье мы рассмотрим, что такое GPT-4o Mini, её ключевые особенности, варианты применения, различия между GPT-4 и GPT-4o Mini, а также использование модели в различных задачах компьютерного зрения. Давай разберёмся, на что способна GPT-4o Mini!

Что такое GPT-4o Mini?#

GPT-4o Mini — новейшее дополнение к линейке моделей ИИ OpenAI, разработанное с целью повысить экономичность и доступность. Это мультимодальная большая языковая модель (LLM), то есть она может обрабатывать и генерировать разные типы данных, включая текст, изображения, видео и аудио. Модель развивает сильные стороны предыдущих моделей, таких как GPT-4 и GPT-4o, предлагая мощные возможности в компактном формате.

GPT-4o Mini на 60% дешевле GPT-3.5 Turbo: стоимость составляет 15 центов за миллион входных токенов (единиц текста или данных, обрабатываемых моделью) и 60 центов за миллион выходных токенов (единиц, которые модель генерирует в ответ). Для сравнения: один миллион токенов примерно соответствует обработке 2 500 страниц текста. Благодаря контекстному окну на 128K токенов и возможности обрабатывать до 16K выходных токенов за один запрос GPT-4o Mini рассчитана на эффективную и доступную работу.

Рис. 1. GPT-4o Mini на 60% дешевле GPT-3.5 Turbo.

Ключевые особенности GPT-4o Mini#

GPT-4o Mini поддерживает множество задач, что делает её отличным вариантом для различных приложений. Её можно использовать при одновременном выполнении нескольких операций, например при вызове нескольких API, работе с большими объёмами данных вроде полных кодовых баз или истории разговоров, а также для предоставления быстрых ответов в режиме реального времени в чат-ботах поддержки клиентов.

Вот ещё несколько ключевых особенностей:

• Обновлённая база знаний: Модель содержит информацию по октябрь 2023 года включительно.
• Улучшенный токенизатор: GPT-4o Mini делает обработку текста не на английском языке более экономичной.
• Надёжные меры безопасности: Они включают фильтрацию вредоносного контента и защиту от угроз безопасности, таких как prompt injection и манипуляции системой.

Начало работы с GPT-4o Mini#

Попробовать GPT-4o Mini можно через интерфейс ChatGPT. Модель доступна пользователям тарифов Free, Plus и Team, заменяя GPT-3.5, как показано ниже. Пользователи Enterprise также скоро получат доступ в соответствии с целью OpenAI сделать преимущества ИИ доступными для всех. GPT-4o Mini доступна и через API для разработчиков, которые хотят интегрировать её возможности в свои приложения. На данный момент возможности работы с изображениями доступны только через API.

Рис. 2. Варианты моделей в ChatGPT.

Разница между GPT-4o и GPT-4o Mini#

GPT-4o Mini и GPT-4o показывают впечатляющие результаты в различных бенчмарках. Хотя GPT-4o обычно превосходит GPT-4o Mini, GPT-4o Mini остаётся экономичным решением для повседневных задач. Бенчмарки включают задачи на рассуждение, математические способности и навыки программирования, а также мультимодальное рассуждение. Как показано на изображении ниже, GPT-4o Mini демонстрирует довольно высокие результаты по сравнению с другими популярными моделями.

Рис. 3. Сравнение GPT-4o Mini с другими популярными моделями.

Практическое тестирование GPT-4o и GPT-4o Mini#

Интересный prompt, который обсуждали в интернете, связан с тем, что популярные LLM неправильно сравнивают десятичные числа. Когда мы протестировали GPT-4o и GPT-4o Mini, различия в их способностях к рассуждению стали очевидны. На изображении ниже мы спросили обе модели, какое число больше: 9.11 или 9.9, а затем попросили объяснить ход рассуждений.

Рис. 4. Проверка GPT-4o и GPT-4o Mini.

Сначала обе модели отвечают неправильно и утверждают, что 9.11 больше. Однако GPT-4o способна прийти к правильному ответу в ходе рассуждения и указывает, что 9.9 больше. Она даёт подробное объяснение и корректно сравнивает десятичные числа. В отличие от неё, GPT-4o Mini упорно придерживается первоначального ошибочного ответа, несмотря на то что правильно выстраивает рассуждение, показывающее превосходство 9.9.

Обе модели демонстрируют сильные способности к рассуждению. Возможность GPT-4o исправлять собственные ошибки делает её более эффективной и полезной для сложных задач. GPT-4o Mini менее адаптивна, но по-прежнему обеспечивает понятные и точные рассуждения при решении более простых задач.

Использование GPT-4o Mini в различных задачах компьютерного зрения#

Если ты хочешь изучить возможности GPT-4o Mini в работе с изображениями, не погружаясь в код, можно легко протестировать API в OpenAI Playground. Мы сами проверили модель, чтобы оценить, насколько хорошо GPT-4o Mini справляется с различными задачами компьютерного зрения.

Классификация изображений с помощью GPT-4o Mini#

Мы попросили GPT-4o Mini классифицировать два изображения: одно с бабочкой, а другое с картой. Модель ИИ успешно распознала бабочку и карту. Это довольно простая задача, поскольку изображения сильно различаются.

Рис. 5. Классификация изображений с помощью GPT-4o Mini.

Затем мы пропустили через модель ещё два изображения: на одном бабочка сидела на растении, а на другом — на земле. И снова ИИ отлично справился, правильно обнаружив бабочку на растении и бабочку на земле. Поэтому мы решили усложнить задачу.

Рис. 6. Классификация похожих изображений с помощью GPT-4o Mini.

Затем мы попросили GPT-4o Mini классифицировать два изображения: на одном бабочка питалась цветами ваточника, а на другом — цветком циннии. Удивительно, что модель смогла определить настолько специфичную категорию без дополнительной тонкой настройки. Эти быстрые примеры показывают, что GPT-4o Mini, возможно, можно использовать для задач классификации изображений без специального обучения.

Рис. 7. Классификация детализированных изображений с помощью GPT-4o Mini.

Определение поз с помощью GPT-4o Mini#

На данный момент задачи компьютерного зрения, такие как обнаружение объектов и сегментация экземпляров, нельзя выполнять с помощью GPT-4o Mini. GPT-4o испытывает трудности с точностью, но её можно использовать для таких задач. Что касается понимания поз, мы не можем обнаружить или оценить позу на изображении, но можем классифицировать её и понять, что она означает.

Рис. 8. Использование GPT-4o Mini для понимания поз на изображении.

Изображение выше показывает, как GPT-4o Mini может классифицировать и понимать позы, несмотря на невозможность обнаружить или оценить точные координаты позы. Это может быть полезно в разных приложениях. Например, в спортивной аналитике модель может в общих чертах оценивать движения спортсменов и помогать предотвращать травмы. Аналогично, в физиотерапии она может помогать отслеживать упражнения и проверять, правильно ли пациенты выполняют движения во время реабилитации. В системах наблюдения модель также может помогать выявлять подозрительную активность, анализируя общую информацию о языке тела. Хотя GPT-4o Mini не способна обнаруживать конкретные ключевые точки, её умение классифицировать общие позы делает её полезной в этих и других областях.

Приложения, для которых подходит GPT-4o Mini#

Мы рассмотрели, на что способна GPT-4o Mini. Теперь обсудим приложения, в которых использовать GPT-4o Mini наиболее целесообразно.

GPT-4o Mini отлично подходит для приложений, которым требуется продвинутое понимание естественного языка и небольшой объём вычислительных ресурсов. Она позволяет интегрировать ИИ в приложения, где это обычно было бы слишком дорого. Подробный анализ Artificial Analysis показывает, что GPT-4o Mini обеспечивает высокое качество ответов на исключительно высокой скорости по сравнению с большинством других моделей.

Рис. 9. Качество и скорость генерации GPT-4o Mini.

Вот несколько ключевых областей, в которых модель может особенно хорошо проявить себя в будущем:

• Виртуальные ассистенты и чат-боты: GPT-4o Mini может быстро и интеллектуально отвечать на запросы, улучшая взаимодействие с пользователями.
• Образовательные инструменты: Модель можно использовать для создания инструментов, предлагающих персонализированное обучение и генерацию контента.
• Инструменты для повышения продуктивности: Модель может улучшать выполнение задач, таких как создание краткого содержания документов, составление электронных писем и перевод языков, повышая эффективность работы.
• Перевод языков: Последнюю версию GPT можно использовать для разработки переводчиков, обеспечивающих точный перевод языков в режиме реального времени и улучшающих коммуникацию между носителями разных языков.

GPT-4o Mini открывает новые возможности#

GPT-4o Mini открывает новые возможности для будущего мультимодального ИИ. Стоимость обработки каждого фрагмента текста или данных, известная как стоимость токена, существенно снизилась — почти на 99% — с 2022 года, когда была выпущена text-davinci-003, модель GPT-3. Снижение стоимости явно свидетельствует о тенденции к тому, что передовой ИИ становится доступнее. По мере совершенствования моделей ИИ интеграция ИИ в каждое приложение и на каждый сайт становится всё более экономически целесообразной!

Хочешь попробовать ИИ на практике? Посети наш репозиторий GitHub, чтобы узнать о наших разработках и присоединиться к активному сообществу. Узнай больше о применении ИИ в производстве и сельском хозяйстве на страницах наших решений.