Последние обновления OpenAI: Canvas, дообучение для работы с изображениями и не только

В сентябре мы уже рассматривали модели o1 от OpenAI, предназначенные для улучшения логических рассуждений. С тех пор в ChatGPT появилось много новых интересных функций. Одни нововведения предназначены для разработчиков, другие помогают улучшить пользовательский опыт. В целом каждое обновление делает взаимодействие с ChatGPT более интуитивным и эффективным.

Новые функции, такие как Canvas для совместной работы над текстами и кодом, а также дообучение возможностей работы с изображениями, которое улучшает работу ChatGPT с изображениями, вызвали большой интерес и побудили пользователей искать новые творческие возможности. Технические улучшения, например новые API и отчёты о тестировании справедливости, затрагивают такие аспекты, как интеграция моделей и этичный ИИ. Давай подробнее рассмотрим новейшие функции ChatGPT от OpenAI.

Обзор функции Canvas от OpenAI#

Canvas — первое крупное обновление пользовательского интерфейса (UI) ChatGPT с момента его выпуска. Это новый интерфейс с двумя экранами: запросы отображаются на левой боковой панели, а ответы — в окне справа. Новый UI заменяет привычную структуру чата на одном экране компоновкой из двух экранов, которая подходит для многозадачной работы и помогает повысить продуктивность.

Рис. 1. Canvas обновляет UI ChatGPT.

До появления Canvas работа с длинными документами в ChatGPT требовала постоянной прокрутки вверх и вниз. В новом интерфейсе запросы отображаются на левой боковой панели, а текстовый документ или фрагмент кода занимает большую часть экрана. При необходимости можно изменить размер левой боковой панели и области вывода. Кроме того, можно выделить часть текста или фрагмент кода и отредактировать именно его, не меняя весь документ.

Рис. 2. Редактирование отдельных фрагментов текста с помощью Canvas.

Если ты пользуешься Canvas, то заметишь, что в интерфейсе ChatGPT нет отдельной кнопки или переключателя для его открытия. Вместо этого при работе с моделью GPT-4o Canvas автоматически открывается, если система определяет, что ты редактируешь, пишешь или программируешь. Для простых запросов он остаётся неактивным. Чтобы открыть его вручную, можно использовать запросы вроде «Открой Canvas» или «Покажи интерфейс Canvas».

Сейчас Canvas находится в бета-версии и доступен только с GPT-4o. Однако OpenAI сообщила, что после выхода из бета-версии Canvas станет доступен всем пользователям бесплатного тарифа.

Обновления API ChatGPT#

OpenAI выпустила три новых обновления API ChatGPT, призванных повысить эффективность, масштабируемость и универсальность. Давай рассмотрим каждое из них подробнее.

Дистилляция моделей#

Используя функцию дистилляции моделей через API OpenAI, разработчики могут повышать производительность небольших и экономичных моделей, например GPT-4o mini, с помощью результатов работы продвинутых моделей, таких как GPT-4o или o1-preview. Дистилляция моделей — это процесс обучения небольших моделей имитировать поведение более продвинутых, чтобы повысить их эффективность для конкретных задач.

До появления этой функции разработчикам приходилось вручную координировать множество задач с помощью разных инструментов. Среди этих задач были создание наборов данных, измерение производительности моделей и их дообучение; из-за этого процесс часто становился сложным и подверженным ошибкам. Обновление функции дистилляции моделей позволяет разработчикам использовать Stored Completions — инструмент, который автоматически создаёт наборы данных, собирая и сохраняя пары входных и выходных данных, полученные от продвинутых моделей через API.

Ещё одна функция дистилляции моделей — Evals, доступная пока в бета-версии. Она помогает измерять производительность модели на конкретных задачах без необходимости создавать собственные скрипты оценки или использовать отдельные инструменты. Разработчики могут дообучать собственные модели GPT на наборах данных, созданных с помощью Stored Completions, и оценивать их производительность с помощью Evals.

Рис. 3. С помощью Evals можно оценивать производительность модели.

Кэширование запросов#

При создании приложений на основе ИИ, особенно чат-ботов, часто приходится повторно использовать один и тот же контекст — фоновую информацию или историю предыдущих разговоров, необходимую для понимания текущего запроса, — в нескольких вызовах API. Кэширование запросов позволяет разработчикам повторно использовать недавно задействованные входные токены — фрагменты текста, которые модель обрабатывает, чтобы понять запрос и сформировать ответ, — и тем самым снизить стоимость и задержку.

С 1 октября OpenAI автоматически применяет кэширование запросов для таких моделей, как GPT-4o, GPT-4o mini, o1-preview и o1-mini. Это значит, что когда разработчики обращаются через API к модели с длинным запросом (более 1 024 токенов), система сохраняет уже обработанные части.

Если тот же или похожий запрос используется повторно, система может не пересчитывать эти части. Она автоматически кэширует самый длинный фрагмент запроса, который уже встречался ранее: сначала 1 024 токена, а затем добавляет блоки по 128 токенов по мере увеличения длины запроса.

API Realtime#

Для создания голосового помощника обычно нужно преобразовать аудио в текст, обработать текст, а затем снова преобразовать его в аудио, чтобы воспроизвести ответ. Realtime API от OpenAI призван выполнять весь этот процесс в рамках одного запроса API. Упрощая процесс, API обеспечивает диалог с ИИ в реальном времени.

Например, голосовой помощник с интеграцией Realtime API может выполнять определённые действия, например оформлять заказ или находить информацию, по запросу пользователя. API делает голосового помощника отзывчивее и помогает ему быстрее адаптироваться к потребностям пользователей. Realtime API стал доступен в публичной бета-версии 1 октября с шестью голосами. 30 октября добавили ещё пять — всего стало доступно одиннадцать голосов.

Рис. 4. Пример использования API Realtime для практики разговоров на новом языке.

Тонкая настройка ChatGPT для задач компьютерного зрения#

Изначально мультимодальную языковую модель GPT-4o можно было дообучать и настраивать только на наборах данных, содержащих текст. Теперь, с выпуском API для дообучения работы с изображениями, разработчики могут обучать и настраивать GPT-4o на наборах данных с изображениями. С момента выпуска дообучение на изображениях стало одной из главных тем среди разработчиков и инженеров компьютерного зрения.

Чтобы настроить возможности GPT-4o в области компьютерного зрения, разработчики могут использовать наборы данных от 100 до 50 000 изображений. Убедившись, что набор данных соответствует формату OpenAI, его можно загрузить на платформу OpenAI и выполнить тонкую настройку модели для конкретных приложений.

Например, компания Automat, специализирующаяся на автоматизации, использовала датасет скриншотов, чтобы обучить GPT-4o распознавать элементы пользовательского интерфейса на экране по описанию. Это упрощает роботизированную автоматизацию процессов (RPA), позволяя ботам легче взаимодействовать с пользовательскими интерфейсами. Вместо фиксированных координат или сложных правил для селекторов модель может распознавать элементы интерфейса по простым описаниям, благодаря чему настройки автоматизации становятся гибче и их проще поддерживать при изменении интерфейсов. Более новые модели OpenAI, например GPT-6.1 Sol, умеют обнаруживать объекты без дообучения, а результаты тестирования VLM показывают, как они сравниваются с другими визуально-языковыми моделями на реальных датасетах.

Рис. 5. Использование настроенной версии модели GPT-4o для обнаружения элементов UI.

Оценка справедливости ChatGPT и обнаружение предвзятости#

Этические вопросы, связанные с применением AI, становятся всё более заметной темой для обсуждения по мере того, как AI становится всё более совершенным. Поскольку ответы ChatGPT основаны на запросах пользователей и данных, доступных в интернете, может быть непросто постоянно настраивать формулировки так, чтобы они оставались ответственными. Согласно сообщениям, ответы ChatGPT предвзяты в отношении имени, гендера и расы. Чтобы решить эту проблему, внутренняя команда OpenAI провела тестирование справедливости от первого лица.

Имена часто содержат неявные указания на культуру и географическое происхождение. В большинстве случаев ChatGPT не учитывает эти тонкие сигналы в именах. Однако иногда имена, указывающие на расу или культуру, приводят к разным ответам ChatGPT; примерно в 1% таких ответов встречается вредоносная лексика. Устранить предвзятость и вредоносную лексику в языковой модели непросто. Однако, публично делясь этими результатами и признавая ограничения модели, OpenAI помогает пользователям уточнять запросы и получать более нейтральные, непредвзятые ответы.

Рис. 6. Пример различий в ответах из-за имени пользователя.

Как работает поиск ChatGPT#

Когда ChatGPT только появился, в сообществе специалистов по ИИ обсуждали, сможет ли он заменить традиционный просмотр веб-страниц. Теперь многие пользователи обращаются к ChatGPT вместо Google Search.

Новое обновление OpenAI — функция Search — развивает эту идею. С её помощью ChatGPT формирует актуальные ответы и добавляет ссылки на релевантные источники. С 31 октября функция Search доступна всем пользователям ChatGPT Plus и Team, благодаря чему ChatGPT работает скорее как поисковая система на базе ИИ.

Рис. 7. Пример использования новой функции Search в ChatGPT.

Что ждёт нас дальше#

Последние обновления ChatGPT делают ИИ полезнее, гибче и справедливее. Новая функция Canvas помогает пользователям работать эффективнее, а тонкая настройка для компьютерного зрения позволяет разработчикам адаптировать модели для более эффективного решения визуальных задач. Важными приоритетами остаются обеспечение справедливости и снижение предвзятости, чтобы ИИ хорошо работал для всех, независимо от того, кто они. ChatGPT развивается, чтобы отвечать самым разным потребностям — и разработчиков, настраивающих модели, и тех, кто просто пользуется новыми функциями. Возможности работы в реальном времени, интеграция визуальных данных и акцент на ответственном использовании помогают сделать взаимодействие с ИИ более надёжным и заслуживающим доверия для всех.

Узнай больше об ИИ: загляни в наш репозиторий GitHub и присоединяйся к нашему сообществу. Подробнее о применении ИИ в беспилотном вождении и здравоохранении.