Последние обновления OpenAI: Canvas, тонкая настройка зрения и не только

После того как в сентябре мы рассмотрели модели o1 от OpenAI, созданные для улучшения рассуждений, в ChatGPT появилось множество новых интересных функций. Некоторые из них ориентированы на разработчиков, а другие призваны улучшить пользовательский опыт. В целом каждое обновление помогает сделать взаимодействие с ChatGPT более интуитивным и эффективным.

Такие обновления, как Canvas, предназначенный для совместного написания текстов и кода, и тонкая настройка возможностей компьютерного зрения, улучшающая работу ChatGPT с изображениями, вызвали большой интерес и побудили пользователей исследовать более творческие возможности. Тем временем технические обновления, такие как новые API и отчёты о тестировании справедливости, затрагивают такие аспекты, как интеграция моделей и практики этичного ИИ. Давай подробнее разберём последние функции ChatGPT от OpenAI!

Обзор функции Canvas от OpenAI#

Canvas — первое крупное обновление пользовательского интерфейса (UI) ChatGPT с момента его выпуска. Это новый интерфейс с компоновкой на два экрана: запросы отображаются на левой боковой панели, а ответы — в окне справа. Новый UI отказывается от привычной одностраничной структуры, напоминающей чат, и переходит к компоновке на два экрана, удобной для многозадачности и повышения продуктивности.

Рис. 1. Canvas обновляет UI ChatGPT.

До появления Canvas работа с длинными документами в ChatGPT требовала довольно часто прокручивать страницу вверх и вниз. В новой компоновке запросы отображаются на левой боковой панели, а текстовый документ или фрагмент кода занимает большую часть экрана. При необходимости ты можешь изменить размер левой боковой панели и области вывода. Кроме того, можно выбрать часть текста или фрагмент кода и отредактировать его, не изменяя весь документ.

Рис. 2. Редактирование отдельных фрагментов текста с помощью Canvas.

Если ты используешь Canvas, то заметишь, что в интерфейсе ChatGPT нет отдельной кнопки или переключателя для его открытия. Вместо этого при работе с моделью GPT-4o Canvas открывается автоматически, если обнаруживает, что ты редактируешь, пишешь или программируешь. Для более простых запросов он остаётся неактивным. Если ты хочешь открыть его вручную, можно использовать такие запросы, как "Open the Canvas" или "Get me the Canvas layout."

Сейчас Canvas находится в бета-версии и доступен только с GPT-4o. Однако OpenAI сообщила, что после выхода Canvas из бета-версии он станет доступен всем бесплатным пользователям.

Обновления API ChatGPT#

OpenAI выпустила три новых обновления API ChatGPT, направленных на повышение эффективности, масштабируемости и универсальности. Давай подробнее рассмотрим каждое из них.

Дистилляция моделей#

С помощью функции дистилляции моделей через API OpenAI разработчики могут использовать результаты работы продвинутых моделей, таких как GPT-4o или o1-preview, чтобы повысить производительность небольших экономичных моделей, таких как GPT-4o mini. Дистилляция моделей — это процесс, в котором обучают небольшие модели имитировать поведение более продвинутых, делая их эффективнее для конкретных задач.

До появления этой функции разработчикам приходилось вручную координировать множество задач с помощью разных инструментов. В их число входили создание датасетов, измерение производительности моделей и тонкая настройка моделей, что часто делало процесс сложным и подверженным ошибкам. Обновление Model Distillation позволяет разработчикам использовать Stored Completions — инструмент, который автоматически позволяет создавать датасеты, собирая и сохраняя пары входных и выходных данных, создаваемые продвинутыми моделями через API.

Ещё одна функция Model Distillation — Evals, которая сейчас находится в бета-версии, помогает измерять, насколько хорошо модель справляется с конкретными задачами, без необходимости создавать собственные скрипты для оценки или использовать отдельные инструменты. Используя датасеты, созданные с помощью Stored Completions, и оценивая производительность с помощью Evals, разработчики могут выполнять тонкую настройку собственных кастомных моделей GPT.

Рис. 3. Evals можно использовать для измерения производительности модели.

Кэширование запросов#

При создании приложений ИИ, особенно чат-ботов, один и тот же контекст (фоновая информация или история предыдущего разговора, необходимая для понимания текущего запроса) часто используется повторно в нескольких вызовах API. Кэширование запросов позволяет разработчикам повторно использовать недавно применявшиеся входные токены (фрагменты текста, которые модель обрабатывает для понимания запроса и формирования ответа), помогая снизить стоимость и задержку.

С 1 октября OpenAI автоматически применяет кэширование запросов к таким моделям, как GPT-4o, GPT-4o mini, o1-preview и o1-mini. Это означает, что при использовании API для взаимодействия с моделью с длинным запросом (более 1 024 токенов) система сохраняет уже обработанные части.

Таким образом, если те же или похожие запросы используются снова, системе не нужно повторно вычислять эти части. Система автоматически кэширует самую длинную часть запроса, с которой она уже сталкивалась, начиная с 1 024 токенов и добавляя фрагменты по 128 токенов по мере увеличения длины запроса.

Realtime API#

Создание голосового помощника обычно требует преобразовать аудио в текст, обработать текст, а затем преобразовать его обратно в аудио для воспроизведения ответа. Realtime API от OpenAI призван выполнять весь этот процесс с помощью одного запроса API. Упрощая процесс, API обеспечивает разговоры с ИИ в реальном времени.

Например, голосовой помощник, интегрированный с Realtime API, может выполнять определённые действия, такие как оформление заказа или поиск информации, на основе запросов пользователя. API делает голосового помощника более отзывчивым и позволяет ему быстрее адаптироваться к потребностям пользователей. Realtime API стал доступен в рамках публичной бета-версии 1 октября с шестью голосами. 30 октября добавили ещё пять голосов, доведя общее число доступных голосов до одиннадцати.

Рис. 4. Пример использования Realtime API для практики разговоров на новом языке.

Тонкая настройка ChatGPT для задач компьютерного зрения#

Изначально языковую модель компьютерного зрения GPT-4o можно было настраивать и адаптировать только с помощью датасетов, содержащих исключительно текст. Теперь, после выпуска API для тонкой настройки компьютерного зрения, разработчики могут обучать и адаптировать GPT-4o с помощью датасетов изображений. С момента выпуска тонкая настройка компьютерного зрения стала важной темой для разработчиков и инженеров по компьютерному зрению.

Для тонкой настройки возможностей GPT-4o в области компьютерного зрения разработчики могут использовать датасеты изображений размером от 100 до 50 000 изображений. Убедившись, что датасет соответствует формату, требуемому OpenAI, его можно загрузить на платформу OpenAI и выполнить тонкую настройку модели для конкретных приложений.

Например, компания Automat, занимающаяся автоматизацией, использовала датасет снимков экрана, чтобы обучить GPT-4o идентифицировать элементы UI на экране по описанию. Это упрощает роботизированную автоматизацию процессов (RPA), облегчая взаимодействие ботов с пользовательскими интерфейсами. Вместо фиксированных координат или сложных правил выбора модель может идентифицировать элементы UI по простым описаниям, делая конфигурации автоматизации более адаптивными и упрощая их обслуживание при изменении интерфейсов.

Рис. 5. Использование версии модели GPT-4o с тонкой настройкой для обнаружения элементов UI.

Справедливость ChatGPT и обнаружение предвзятости#

Этические вопросы, связанные с приложениями ИИ, активно обсуждаются по мере развития ИИ. Поскольку ответы ChatGPT основаны на предоставленных пользователем запросах и данных, доступных в Интернете, бывает сложно постоянно настраивать его язык так, чтобы он оставался ответственным. В отчётах говорится, что ответы ChatGPT предвзяты по признакам имени, пола и расы. Чтобы решить эту проблему, внутренняя команда OpenAI провела первый тест справедливости от лица пользователя.

Имена часто содержат тонкие признаки, связанные с нашей культурой и географическими факторами. В большинстве случаев ChatGPT игнорирует эти тонкие признаки в именах. Однако иногда имена, отражающие расу или культуру, приводят к разным ответам ChatGPT, причём около 1% таких ответов содержат вредоносные высказывания. Устранение предвзятости и вредоносных высказываний — сложная задача для языковой модели. Тем не менее, публично раскрывая эти результаты и признавая ограничения модели, OpenAI помогает пользователям уточнять запросы, чтобы получать более нейтральные ответы без предвзятости.

Рис. 6. Пример различий в ответах из-за имени пользователя.

Понимание поиска ChatGPT#

Когда ChatGPT только появился, в сообществе ИИ обсуждали, сможет ли он заменить традиционный веб-сёрфинг. Теперь многие пользователи используют ChatGPT вместо Google Search.

Новое обновление OpenAI — функция Search — развивает эту идею. С помощью Search ChatGPT формирует актуальные ответы и добавляет ссылки на релевантные источники. По состоянию на 31 октября функция Search доступна всем пользователям ChatGPT Plus и Team, благодаря чему ChatGPT работает больше как поисковая система на базе ИИ.

Рис. 7. Пример использования новой функции Search в ChatGPT.

Что дальше#

Недавние обновления ChatGPT направлены на то, чтобы сделать ИИ более полезным, гибким и справедливым. Новая функция Canvas помогает пользователям работать эффективнее, а тонкая настройка компьютерного зрения позволяет разработчикам адаптировать модели для более качественного выполнения визуальных задач. Решение вопросов справедливости и снижение предвзятости также являются ключевыми приоритетами, чтобы ИИ хорошо работал для всех, независимо от того, кто они. Будь ты разработчиком, выполняющим тонкую настройку моделей, или просто пользователем новейших функций — ChatGPT развивается, чтобы удовлетворять широкий спектр потребностей. Благодаря возможностям работы в реальном времени, интеграции визуальных данных и акценту на ответственное использование эти обновления создают более заслуживающий доверия и надёжный опыт взаимодействия с ИИ для всех.

Узнай больше об ИИ, посетив наш репозиторий на GitHub и присоединившись к нашему сообществу. Узнай больше о применении ИИ в сфере беспилотного вождения и здравоохранения.