OpenAI GPT-4o демонстрирует потенциал ИИ

В понедельник, 13 мая 2024 года, OpenAI объявила о запуске своей новой флагманской модели GPT-4o, где «o» означает «omni». GPT-4o — это продвинутая мультимодальная модель ИИ для взаимодействия с текстом, аудио и изображениями в реальном времени. Она быстрее обрабатывает данные, поддерживает множество языков и обеспечивает повышенную безопасность.

Это открывает новые возможности генеративного ИИ. Опираясь на сильные стороны ChatGPT в диалогах, GPT-4o существенно меняет представление людей об ИИ. Теперь мы можем разговаривать с GPT-4o так, будто это реальный человек. Давай посмотрим, на что способен GPT-4o!

Знакомство с GPT-4o#

На весенней презентации OpenAI объявили, что GPT-4o так же интеллектуален, как GPT-4, но быстрее обрабатывает данные и лучше справляется с текстом, изображениями и аудио. Предыдущие версии были ориентированы на повышение интеллектуальных возможностей моделей, а при разработке этой версии учитывали необходимость сделать ИИ доступнее широкой аудитории.

Рис. 1. Весенняя презентация OpenAI

В голосовом режиме ChatGPT, выпущенном в конце прошлого года, три разные модели совместно преобразовывали голосовой ввод в текст, понимали его и генерировали письменные ответы, а затем озвучивали их. Этот режим страдал от задержек и казался неестественным. GPT-4o изначально обрабатывает текст, изображения и аудио за один проход, создавая у пользователя ощущение естественного разговора.

Кроме того, в отличие от голосового режима, теперь можно перебить GPT-4o во время разговора — и она отреагирует, как человек: замолчит и выслушает, а затем ответит в реальном времени, учитывая сказанное. Она также может выражать эмоции голосом и распознавать интонацию.

Впечатляющие возможности GPT-4o#

Результаты оценки модели GPT-4o показывают, насколько она продвинута. Один из самых интересных выводов: GPT-4o значительно превосходит Whisper-v3 в распознавании речи на всех языках, особенно на менее распространённых.

Качество автоматического распознавания речи (ASR) измеряется тем, насколько точно модель преобразует устную речь в текст. Эффективность GPT-4o оценивают по частоте ошибок в словах (WER), которая показывает процент слов, распознанных неправильно: чем ниже WER, тем лучше результат. На графике ниже видно, что WER у GPT-4o ниже для разных регионов, что демонстрирует улучшенное распознавание речи для языков с ограниченными ресурсами.

Рис. 2. GPT-4o лучше распознаёт речь на многих языках.

Рассмотрим ещё несколько уникальных возможностей GPT-4o:

• Быстрее — модель работает вдвое быстрее GPT-4 Turbo. Она отвечает на аудиозапросы всего за 232 миллисекунды — примерно за то же время, что и человек в разговоре.
• Экономичнее — использование GPT-4o через API на 50% дешевле, чем GPT-4 Turbo.
• Память — GPT-4o может сохранять контекст разных разговоров. Она запоминает, о чём ты говорил в других чатах.
• Мультиязычность — GPT-4o обучена быстрее и качественнее работать на 50 разных языках.

Примеры возможностей GPT-4o#

Теперь можно достать телефон, включить камеру и попросить GPT-4o, как друга, угадать настроение по выражению лица. GPT-4o увидит тебя через камеру и ответит.

Рис. 3. GPT-4o определяет настроение человека по видео.

Можно даже попросить GPT-4o помочь решить математическую задачу, показав на видео, что ты пишешь. Или поделиться экраном и воспользоваться GPT-4o как помощником на Khan Academy: она попросит указать разные части треугольника в задаче по геометрии, как показано ниже.

Рис. 4. GPT-4o в роли помощника на Khan Academy.

Помимо помощи детям с математикой, разработчики могут общаться с GPT-4o и отлаживать код. Это стало возможным благодаря появлению ChatGPT в виде настольного приложения. Если во время разговора с голосовым приложением GPT-4o для компьютера выделить и скопировать код сочетанием Ctrl+C, приложение сможет его прочитать. Ещё его можно использовать для перевода разговоров между разработчиками, говорящими на разных языках.

Возможных вариантов применения множество. В одной из самых интересных демонстраций OpenAI использовали два телефона, чтобы показать, как GPT-4o разговаривает с разными копиями самого себя и поёт вместе с ними.

Рис. 5. ИИ разговаривает и поёт с ИИ.

Применение GPT-4o#

Как показано в демонстрации, GPT-4o может сделать мир доступнее для людей с нарушениями зрения. Она помогает им взаимодействовать с окружающим миром и передвигаться безопаснее и самостоятельнее. Например, пользователь может включить видео и показать GPT-4o вид улицы. Та в реальном времени опишет окружение: укажет на препятствия, прочитает дорожные знаки или поможет добраться до нужного места. Она даже может помочь поймать такси, предупредив о приближении машины.

Рис. 6. GPT-4o предупреждает о приближении такси.

GPT-4o можно использовать и в самых разных отраслях. В розничной торговле он может улучшить обслуживание клиентов: предоставлять помощь в реальном времени, отвечать на вопросы и помогать находить товары как онлайн, так и в магазине. Представь, что ты рассматриваешь полку с товарами и не можешь найти нужный. GPT-4o поможет его отыскать.

В здравоохранении GPT-4o может помогать в диагностике: анализировать данные пациентов, предполагать возможные заболевания по симптомам и предлагать варианты лечения. Она также может помогать медицинским специалистам: обобщать истории болезни, быстро находить медицинскую литературу и даже переводить речь в реальном времени для общения с пациентами, говорящими на разных языках. Это лишь несколько примеров. Благодаря персонализированной помощи с учётом контекста GPT-4o упрощает повседневную жизнь и устраняет барьеры в доступе к информации и общении.

GPT-4o и безопасность моделей#

Как и предыдущие версии GPT, повлиявшие на жизнь сотен миллионов людей, GPT-4o, вероятно, будет использовать аудио и видео в реальном времени по всему миру, поэтому безопасность этих приложений крайне важна. OpenAI уделила особое внимание снижению потенциальных рисков при разработке GPT-4o.

Чтобы обеспечить безопасность и надёжность, OpenAI внедрила строгие меры защиты. Среди них — фильтрация обучающих данных, доработка поведения модели после обучения и внедрение новых систем безопасности для управления голосовыми ответами. Кроме того, GPT-4o тщательно проверили более 70 внешних экспертов в таких областях, как социальная психология, предвзятость и справедливость, а также дезинформация. Внешнее тестирование позволяет выявлять и устранять риски, которые новые функции могут создавать или усиливать.

Чтобы поддерживать высокие стандарты безопасности, OpenAI будет постепенно выпускать функции GPT-4o в течение следующих нескольких недель. Поэтапное внедрение позволяет OpenAI отслеживать производительность, устранять проблемы и собирать отзывы пользователей. Такой осторожный подход помогает обеспечить передовые возможности GPT-4o при соблюдении высочайших стандартов безопасности и этичного использования.

Попробуй GPT-4o сам#

GPT-4o доступна бесплатно. Чтобы опробовать описанные выше возможности общения в реальном времени, скачай приложение ChatGPT из Google Play Store или Apple App Store прямо на телефон.

После входа в систему можно выбрать GPT-4o из списка, нажав на три точки в правом верхнем углу экрана. Открыв чат с GPT-4o, нажми на значок плюса в левом нижнем углу экрана — появятся разные способы ввода. В правом нижнем углу экрана ты увидишь значок наушников. Нажав на него, ты узнаешь, хочешь ли попробовать GPT-4o в режиме громкой связи. Согласившись, ты сможешь опробовать GPT-4o, как показано ниже.

Рис. 7. Тестирование GPT-4o в мобильном приложении ChatGPT.

Если ты хочешь добавить передовые возможности GPT-4o в свои проекты, разработчикам доступен API. Он позволяет интегрировать в приложения эффективное распознавание речи GPT-4o, поддержку множества языков и диалоговые возможности в реальном времени. Используя API, ты сможешь улучшить взаимодействие с пользователями, создавать более интеллектуальные приложения и внедрять передовые технологии ИИ в разных отраслях.

GPT-4o: пока ещё не совсем человек#

Хотя GPT-4o намного совершеннее предыдущих моделей ИИ, важно помнить о его ограничениях. В OpenAI отмечали, что во время разговора модель иногда случайным образом переключается с одного языка на другой, например с английского на французский. Также замечали, что GPT-4o может неправильно переводить с одного языка на другой. Чем больше людей будут использовать модель, тем лучше мы поймём, в чём GPT-4o силён и что ему ещё нужно улучшить. Для задач компьютерного зрения, таких как обнаружение объектов, новые модели OpenAI, например GPT-6.1 Sol и GPT-6 Astra, сравниваются с другими моделями «зрение — язык» в рейтинге VLM.

Главное#

GPT-4o от OpenAI открывает новые возможности для ИИ благодаря продвинутой обработке текста, изображений и аудио, обеспечивая естественное, похожее на человеческое взаимодействие. Модель отличается высокой скоростью, экономичностью и поддержкой множества языков. GPT-4o — универсальный инструмент для образования, обеспечения доступности и помощи в реальном времени. По мере того как пользователи будут изучать возможности GPT-4o, их отзывы будут способствовать его развитию. GPT-4o показывает, как ИИ становится частью нашей повседневной жизни.

Изучи наш репозиторий на GitHub и присоединяйся к нашему сообществу, чтобы глубже погрузиться в ИИ. Посети страницы наших решений и узнай, как ИИ меняет такие отрасли, как производство и сельское хозяйство.