OpenAI o1: новая серия моделей OpenAI для рассуждений с помощью ИИ

Сообщество ИИ активно обсуждает, каким будет следующий шаг для моделей GPT от OpenAI; многие называют его «Project Strawberry». Причина в том, что если спросить GPT-4o, сколько букв R в слове "strawberry", он ответит, что в слове "strawberry" их две. Это может показаться странным, учитывая, насколько мощна GPT-4o. Однако модель создана для обработки подтекста, а не точных слов. Ходили слухи, что следующая модель должна решить эту проблему. Сэм Альтман подогрел эти слухи, опубликовав фотографии клубники в своём аккаунте X (ранее известном как Twitter).

После последнего объявления OpenAI в четверг, 12 сентября, мы наконец получили ответ на этот вопрос! Выпущена OpenAI o1 — новая серия моделей ИИ, созданная для того, чтобы не торопиться и обдумывать ответ. Интересно, что OpenAI o1 лучше рассуждает и правильно отвечает на вопрос о клубнике! В этой статье мы расскажем, что такое OpenAI o1, как она работает, где её можно использовать и что это значит для будущего ИИ. Начнём!

Рис. 1. Пример запроса к OpenAI o1 о клубнике.

Новые достижения OpenAI в области ИИ#

В июле 2024 года руководители OpenAI заявили, что исследования компании приближаются к человеческому уровню решения задач, который назвали вторым уровнем ИИ. Очевидно, что этот уровень связан с рассуждениями: OpenAI представляет новую серию моделей OpenAI o1, которая обдумывает ответ, прежде чем выдать его. OpenAI o1 — новая LLM (большая языковая модель), модель ИИ, которая понимает и генерирует текст, похожий на человеческий, изучая закономерности в огромных массивах языковых данных. Она создана для решения сложных задач, требующих глубоких рассуждений.

Рис. 2. Взгляд OpenAI на этапы развития ИИ.

Модель обучали с помощью обучения с подкреплением — метода, при котором модель учится принимать более удачные решения методом проб и ошибок, получая вознаграждения или штрафы за свои действия. Алгоритм обучения с подкреплением помогает модели эффективнее рассуждать, следуя цепочке мыслей. OpenAI также сообщила, что производительность o1 продолжает повышаться благодаря дополнительному обучению с подкреплением и увеличению времени на «размышления» при решении задач. Это показывает, что и длительное обучение, и обдуманная обработка данных помогают улучшать возможности модели.

Хотя OpenAI o1 — значительный шаг вперёд в решении сложных задач, это всё ещё ранняя версия модели, в которой нет некоторых функций, делающих ChatGPT полезным, например поиска в интернете или загрузки файлов и изображений. Пока что GPT-4o может лучше справляться со многими повседневными задачами. Однако OpenAI o1 знаменует большой прогресс в способности ИИ решать сложные задачи, поэтому OpenAI начинает новую серию моделей и называет её OpenAI o1.

Как новые модели OpenAI улучшают рассуждения ИИ#

OpenAI o1 можно использовать для расшифровки шифров, решения задач по программированию и математике, разгадывания кроссвордов и даже работы со сложными темами в науке, безопасности и здравоохранении. В забавной отсылке к кодовому названию проекта OpenAI продемонстрировала навыки рассуждения модели: она взломала шифр, в котором было скрыто сообщение «В СЛОВЕ STRAWBERRY ТРИ БУКВЫ R».

Помимо расшифровки шифров, OpenAI o1 хорошо справляется и с программированием. Она показывает отличные результаты в соревнованиях по программированию, например на Codeforces — платформе, где программисты решают сложные задачи в условиях ограниченного времени. В этих соревнованиях модель получает высокие рейтинги Эло (система оценки уровня навыков на основе результатов в сравнении с другими участниками) и превосходит предыдущие модели. Она также отлично справляется с математикой и хорошо проходит такие экзамены, как Американский пригласительный математический экзамен (AIME).

Рис. 3. Оценка навыков программирования o1.

Эти достижения делают OpenAI o1 серьёзным улучшением по сравнению с более ранними моделями, например GPT-4o. Модель открывает новые возможности для ИИ в таких сферах, как бизнес, разработка, исследования и здравоохранение. Например, в генетических исследованиях OpenAI o1 может быстро обработать большое количество научных статей и выделить ключевые выводы и связи между генетическими маркерами и заболеваниями. Модель понимает сложный научный язык и умеет кратко излагать важные сведения, помогая исследователям сосредоточиться на наиболее значимой информации.

Подробный разбор цепочки мыслей#

Ранее мы упоминали, что OpenAI o1 использует процесс рассуждения «Chain of Thought» («цепочка мыслей»). Он позволяет модели решать сложные задачи способом, похожим на человеческие когнитивные стратегии. Модель может разбивать задачи на небольшие, выполнимые этапы и постепенно уточнять свой подход. В отличие от более ранних моделей, которые опирались на мгновенное распознавание закономерностей, o1 улучшает принятие решений, исследуя несколько путей рассуждения и обучаясь на успехах и ошибках с помощью обучения с подкреплением.

OpenAI решила скрыть от пользователей исходные цепочки мыслей и вместо них показывать краткие сводки, которые позволяют понять ход рассуждений модели, не раскрывая каждый шаг. Это помогает предотвратить злоупотребление процессом рассуждения модели и при этом даёт разработчикам возможность отслеживать и улучшать безопасность ИИ и его соответствие заданным принципам. Анализируя скрытые цепочки внутри системы, разработчики могут убедиться, что o1 соблюдает этические нормы и не допускает вредоносного поведения.

Оценка OpenAI o1#

OpenAI o1 значительно превосходит GPT-4o в нескольких бенчмарках, проверяющих навыки рассуждения и решения задач. На Американском пригласительном математическом экзамене (AIME) 2024 года — сложном экзамене по математике для лучших старшеклассников — o1 достигла точности 74%, используя всего один образец на задачу, тогда как результат GPT-4o составил 12%. При голосовании по 64 образцам точность выросла до 83%, а с помощью усовершенствованного метода повторного ранжирования и 1000 образцов достигла 93%. Это позволило модели войти в число 500 лучших учащихся страны.

Помимо математики, o1 показала выдающиеся результаты в бенчмарках, проверяющих научные знания, например GPQA Diamond, который включает вопросы уровня PhD по физике и биологии, а также химии. Примечательно, что o1 превзошла в этом тесте экспертов с докторской степенью и стала первой моделью ИИ, которой это удалось. Она также превзошла GPT-4o в 54 из 57 категорий бенчмарка MMLU, проверяющего понимание самых разных дисциплин, включая историю, право и естественные науки.

Рис. 4. Оценка OpenAI o1.

Попробуй OpenAI o1 на практике#

OpenAI представила две новые модели ИИ серии o1: o1-preview и o1-mini. Модель o1-preview создана для более глубокого обдумывания перед ответом и отлично справляется со сложными задачами на рассуждение в науке, программировании и математике. Она предлагает расширенные возможности решения задач тем, кто работает над сложными проектами. В отличие от неё, o1-mini — более компактная, быстрая и экономичная модель, специально оптимизированная для рассуждений в области STEM, особенно математики и программирования. Хотя её знания об окружающем мире могут быть менее обширными, по ключевым оценкам, таким как математический конкурс AIME и соревнования по программированию на Codeforces, o1-mini почти не уступает o1-preview и при этом обходится на 80% дешевле.

Рис. 5. Сравнение моделей OpenAI.

Попробовать эти модели можно на разных платформах OpenAI. Пользователи ChatGPT Plus и Team могут выбрать o1-preview и o1-mini в меню выбора модели и оценить улучшенные возможности рассуждения прямо в ChatGPT. Разработчики с доступом API уровня 5 могут начать создавать прототипы на основе этих моделей, хотя некоторые расширенные функции ещё находятся в разработке. OpenAI также планирует вскоре открыть доступ к o1-mini всем пользователям ChatGPT Free. Изучая эти модели, ты сможешь лично оценить прогресс в области рассуждений ИИ и выбрать вариант, который лучше всего соответствует твоим потребностям.

Этические аспекты ИИ в работе OpenAI#

При разработке серии моделей o1 OpenAI уделяла особое внимание этике и безопасности. Перед выпуском моделей o1-preview и o1-mini компания провела тщательную оценку, включая внешнее тестирование и внутренние проверки на такие риски, как запрещённый контент, галлюцинации и предвзятость. Модели обладают расширенными способностями к рассуждению, чтобы лучше понимать правила безопасности и следовать им.

OpenAI также внедрила защитные механизмы, например чёрные списки и классификаторы безопасности, чтобы контролировать риски. Общий уровень риска модели o1 оценивается как средний. Риски в таких областях, как кибербезопасность и автономность модели, низкие, а в областях, связанных с CBRN (химическим, биологическим, радиологическим и ядерным) контентом и убеждением, — средние. Консультативная группа по безопасности и совет директоров OpenAI рассмотрели эти меры безопасности, чтобы убедиться, что модель безопасна и этична в использовании.

Рис. 6. Оценочная карта OpenAI o1.

От слухов к реальности: OpenAI o1 выходит на сцену#

OpenAI o1 — большой шаг вперёд в развитии способности ИИ рассуждать, воплощающий в жизнь некоторые ранние слухи. В отличие от GPT-4o, серия o1 глубже обдумывает ответы с помощью подхода «Chain of Thought» («цепочка мыслей»), разбивая сложные задачи на небольшие этапы. Сейчас модель доступна в виде предварительной версии в ChatGPT и через API; OpenAI планирует добавить такие функции, как поиск в интернете и загрузка файлов и изображений. OpenAI также сообщила, что продолжит разрабатывать и выпускать модели серии GPT наряду с новой серией OpenAI o1. По мере развития ИИ подобные достижения прокладывают путь к более мощным, интуитивным и универсальным системам ИИ, которые лучше понимают людей и помогают им.

Будь в курсе последних новостей ИИ — присоединяйся к нашему сообществу! Загляни в наш репозиторий GitHub, чтобы узнать, как мы создаём передовые решения на базе ИИ для таких сфер, как производство и здравоохранение. 🚀