GPT-4o от OpenAI демонстрирует потенциал ИИ

В понедельник, 13 мая 2024 года, OpenAI объявила о запуске своей новой флагманской модели GPT-4o, где «o» означает «omni». GPT-4o — это продвинутая мультимодальная модель ИИ для взаимодействия с текстом, аудио и изображениями в реальном времени, обеспечивающая более быструю обработку, поддержку нескольких языков и повышенную безопасность.

Она открывает ранее невиданные возможности генеративного ИИ. Основываясь на сильных сторонах ChatGPT в ведении диалогов, функции GPT-4o знаменуют существенный шаг вперёд в восприятии ИИ людьми. Теперь мы можем разговаривать с GPT-4o так, будто это реальный человек. Давай разберёмся, на что именно способен GPT-4o!

Знакомство с GPT-4o#

На весенней презентации OpenAI выяснилось, что GPT-4o обладает таким же интеллектом, как GPT-4, но быстрее обрабатывает данные и лучше работает с текстом, изображениями и аудио. В отличие от предыдущих релизов, которые были сосредоточены на повышении интеллектуальности моделей, этот релиз учитывает необходимость сделать ИИ более удобным для широкой аудитории.

Рис. 1. Весенняя презентация OpenAI

Голосовой режим ChatGPT, выпущенный в конце прошлого года, объединял три разные модели: одна расшифровывала голосовой ввод, другая понимала и генерировала письменные ответы, а третья преобразовывала текст в речь, чтобы пользователь мог услышать ответ. Этот режим сталкивался с проблемами задержки и не казался естественным. GPT-4o изначально обрабатывает текст, изображения и аудио за один проход, создавая у пользователя ощущение естественного разговора.

Кроме того, в отличие от голосового режима, теперь ты можешь перебить GPT-4o во время разговора, и он отреагирует так же, как человек. Он остановится и выслушает тебя, а затем даст ответ в реальном времени с учётом сказанного. Он также может выражать эмоции голосом и понимать твою интонацию.

Впечатляющие функции GPT-4o#

Оценка модели GPT-4o показывает, насколько она продвинута. Одним из самых интересных результатов стало значительное улучшение распознавания речи по сравнению с Whisper-v3 на всех языках, особенно на менее распространённых.

Производительность аудиосистемы ASR (автоматическое распознавание речи) показывает, насколько точно модель преобразует устную речь в текст. Производительность GPT-4o отслеживается с помощью коэффициента ошибок в словах (WER), который показывает процент слов, расшифрованных неправильно (чем ниже WER, тем выше качество). На приведённой ниже диаграмме показан более низкий WER для GPT-4o в различных регионах, что демонстрирует эффективность модели в улучшении распознавания речи для языков с ограниченными ресурсами.

Рис. 2. GPT-4o лучше распознаёт речь на нескольких языках.

Рассмотрим ещё несколько уникальных функций GPT-4o:

• Быстрее — GPT-4o вдвое быстрее GPT-4 Turbo. Он может отвечать на аудиоввод всего за 232 миллисекунды, что сопоставимо со временем реакции человека в разговоре.
• Выгоднее — версия GPT-4o для API на 50% дешевле GPT-4 Turbo.
• Память — GPT-4o способен сохранять контекст в разных разговорах. Он может помнить, о чём ты говорил в разных чатах.
• Мультиязычность — GPT-4o обучен для более быстрой и качественной работы с 50 разными языками.

Примеры возможностей GPT-4o#

Теперь ты можешь открыть GPT-4o на телефоне, включить камеру и попросить GPT-4o, как друга, угадать твоё настроение по выражению лица. GPT-4o увидит тебя через камеру и ответит.

Рис. 3. GPT-4o определяет настроение человека по видео.

Ты даже можешь использовать его для решения математических задач, показывая GPT-4o через видео то, что пишешь. Кроме того, можно поделиться экраном, и он станет полезным репетитором на Khan Academy, попросив тебя указать разные части треугольника в задаче по геометрии, как показано ниже.

Рис. 4. GPT-4o в роли репетитора на Khan Academy.

Помимо помощи детям с математикой, разработчики могут общаться с GPT-4o для отладки кода. Это стало возможным благодаря появлению ChatGPT в виде настольного приложения. Если во время разговора с голосовым приложением GPT-4o для компьютера выделить и скопировать код с помощью CTRL «C», оно сможет прочитать твой код. Также его можно использовать для перевода разговоров между разработчиками, говорящими на разных языках.

Возможности GPT-4o кажутся безграничными. В одной из самых интересных демонстраций OpenAI использовала два телефона, чтобы показать, как GPT-4o разговаривает с разными экземплярами самого себя и поёт вместе с ними.

Рис. 5. ИИ разговаривает и поёт с ИИ.

Применение GPT-4o#

Как показано в демонстрации, GPT-4o может сделать мир доступнее для людей с нарушениями зрения. Он помогает им безопаснее и самостоятельнее взаимодействовать с окружающей средой и перемещаться. Например, пользователи могут включить видео и показать GPT-4o вид улицы. Затем GPT-4o может в реальном времени описывать окружающую обстановку: распознавать препятствия, читать уличные знаки или направлять пользователя к нужному месту. Он даже может помочь вызвать такси, предупредив о приближении машины.

Рис. 6. GPT-4o предупреждает о приближении такси.

Аналогичным образом GPT-4o может преобразить различные отрасли благодаря своим продвинутым возможностям. В сфере розничной торговли он может улучшить обслуживание клиентов, предоставляя помощь в реальном времени, отвечая на вопросы и помогая покупателям находить товары онлайн и в магазине. Допустим, ты смотришь на полку с товарами и не можешь найти нужный продукт — GPT-4o поможет тебе.

В сфере здравоохранения GPT-4o может помогать с диагностикой, анализируя данные пациента, предполагая возможные заболевания на основе симптомов и предлагая рекомендации по вариантам лечения. Он также может поддерживать медицинских специалистов, обобщая истории болезни, обеспечивая быстрый доступ к медицинской литературе и даже выполняя перевод речи в реальном времени для общения с пациентами, говорящими на других языках. Это лишь несколько примеров. Применение GPT-4o упрощает повседневную жизнь благодаря персонализированной помощи с учётом контекста и устраняет барьеры для доступа к информации и общения.

GPT-4o и безопасность модели#

Как и предыдущие версии GPT, которые повлияли на жизнь сотен миллионов людей, GPT-4o, вероятно, будет взаимодействовать с аудио и видео в реальном времени по всему миру, поэтому безопасность станет критически важным элементом этих приложений. OpenAI уделила большое внимание созданию GPT-4o с акцентом на снижение потенциальных рисков.

Для обеспечения безопасности и надёжности OpenAI внедрила строгие меры безопасности. Они включают фильтрацию обучающих данных, настройку поведения модели после обучения и добавление новых систем безопасности для управления голосовыми выходами. Кроме того, GPT-4o прошёл обширное тестирование у более чем 70 внешних экспертов в таких областях, как социальная психология, предвзятость и справедливость, а также дезинформация. Внешнее тестирование помогает выявлять и устранять любые риски, вызванные или усиленные новыми функциями.

Чтобы поддерживать высокие стандарты безопасности, OpenAI будет постепенно выпускать функции GPT-4o в течение следующих нескольких недель. Поэтапный запуск позволяет OpenAI отслеживать производительность, устранять проблемы и собирать отзывы пользователей. Такой осторожный подход помогает GPT-4o предоставлять продвинутые возможности при соблюдении высочайших стандартов безопасности и этичного использования.

Попробуй GPT-4o сам#

GPT-4o доступен бесплатно. Чтобы попробовать упомянутые выше возможности общения в реальном времени, скачай приложение ChatGPT из Google Play Store или Apple App Store прямо на телефон.

После входа в систему ты сможешь выбрать GPT-4o из списка, открывшегося после нажатия на три точки в правом верхнем углу экрана. Перейдя в чат с поддержкой GPT-4o, нажми знак плюса в левом нижнем углу экрана, чтобы увидеть несколько вариантов ввода. В правом нижнем углу экрана ты увидишь значок наушников. После выбора этого значка тебе предложат попробовать GPT-4o в режиме громкой связи. Согласившись, ты сможешь попробовать GPT-4o, как показано ниже.

Рис. 7. Использование GPT-4o в мобильном приложении ChatGPT.

Если ты хочешь интегрировать продвинутые возможности GPT-4o в собственные проекты, разработчикам доступен API. Он позволяет добавить в приложения мощное распознавание речи GPT-4o, поддержку нескольких языков и возможности ведения диалогов в реальном времени. Используя API, ты можешь улучшить пользовательский опыт, создавать более интеллектуальные приложения и внедрять передовые технологии ИИ в различных отраслях.

GPT-4o: пока ещё не совсем человек#

Хотя GPT-4o гораздо более продвинут, чем предыдущие модели ИИ, важно помнить о его ограничениях. OpenAI упоминала, что во время разговора он иногда может случайно переключаться между языками, например с английского на французский. Также разработчики наблюдали, как GPT-4o неправильно переводит между языками. Чем больше людей будет пробовать модель, тем лучше мы поймём, в чём GPT-4o превосходит другие решения и что ему ещё нужно улучшить.

Итог#

GPT-4o от OpenAI открывает новые возможности для ИИ благодаря продвинутой обработке текста, изображений и аудио, обеспечивая естественное взаимодействие, подобное общению с человеком. Он превосходит другие решения по скорости, экономичности и поддержке нескольких языков. GPT-4o — универсальный инструмент для образования, обеспечения доступности и помощи в реальном времени. По мере того как пользователи исследуют возможности GPT-4o, их отзывы будут способствовать его развитию. GPT-4o доказывает, что ИИ действительно меняет наш мир и становится частью повседневной жизни.

Изучи наш репозиторий на GitHub и присоединяйся к нашему сообществу, чтобы глубже погрузиться в мир ИИ. Посети страницы наших решений и узнай, как ИИ преобразует такие отрасли, как производство и сельское хозяйство.