OpenAI o1: новая серия моделей OpenAI для рассуждений с помощью ИИ

Сообщество ИИ активно обсуждает, каким будет следующий шаг для моделей GPT от OpenAI; многие называют его «Project Strawberry». Дело в том, что если спросить GPT-4o, сколько букв R в слове «strawberry», он ответит, что их две. Это может показаться странным, учитывая возможности GPT-4o. По слухам, следующая модель должна решить эту проблему. Сэм Альтман подогрел слухи, опубликовав фотографии клубники в своём аккаунте X (ранее известном как Twitter).

После последнего объявления OpenAI в четверг, 12 сентября, мы наконец узнали ответ! Вышла OpenAI o1 — новая серия ИИ-моделей рассуждения, созданных для того, чтобы обдумывать ответ, прежде чем его дать. Интересно, что OpenAI o1 рассуждает лучше и правильно отвечает на вопрос о клубнике! В этой статье мы расскажем, что такое OpenAI o1, как она работает, где её можно применять и что это означает для будущего ИИ. Начнём!

Рис. 1. Пример запроса к OpenAI o1 о клубнике.

Новые достижения OpenAI в области ИИ#

В июле 2024 года руководители OpenAI заявили, что исследования компании приближаются к человеческому уровню решения задач, который назвали вторым уровнем ИИ. Очевидно, что этот уровень связан с рассуждениями: OpenAI представляет новую серию моделей OpenAI o1, которая обдумывает ответ, прежде чем выдать его. OpenAI o1 — новая LLM (большая языковая модель), модель ИИ, которая понимает и генерирует текст, похожий на человеческий, изучая закономерности в огромных массивах языковых данных. Она создана для решения сложных задач, требующих глубоких рассуждений.

Рис. 2. Представление OpenAI об этапах развития ИИ.

Модель обучали с помощью обучения с подкреплением — метода, при котором модель учится принимать более удачные решения методом проб и ошибок, получая вознаграждение или штраф за свои действия. Алгоритм обучения с подкреплением помогает модели рассуждать эффективнее, следуя цепочке рассуждений. OpenAI также сообщила, что производительность o1 продолжает расти при увеличении объёма обучения с подкреплением и времени, которое модель тратит на «размышления» при решении задач. Это показывает, что и длительное обучение, и продуманная обработка помогают расширить возможности модели.

Хотя OpenAI o1 — значительный шаг вперёд в решении сложных задач, это всё ещё ранняя версия модели, в которой нет некоторых функций, делающих ChatGPT полезным, например поиска в интернете или загрузки файлов и изображений. Пока что GPT-4o может лучше справляться со многими повседневными задачами. Однако OpenAI o1 знаменует большой прогресс в способности ИИ решать сложные задачи, поэтому OpenAI начинает новую серию моделей и называет её OpenAI o1.

Как новые модели OpenAI улучшают рассуждения ИИ#

OpenAI o1 можно использовать для расшифровки шифров, решения задач по программированию и математике, разгадывания кроссвордов и работы со сложными темами в науке, безопасности и здравоохранении. В забавной отсылке к кодовому названию проекта OpenAI продемонстрировала способность модели рассуждать, раскрыв шифр с фразой "THERE ARE THREE R’S IN STRAWBERRY."

Помимо расшифровки шифров, OpenAI o1 хорошо справляется и с программированием. Модель успешно решает задачи соревновательного программирования, например на платформе Codeforces, где программисты за ограниченное время решают сложные задачи. В таких соревнованиях модель набирает высокие рейтинги Elo — системы оценки уровня мастерства на основе результатов в сравнении с другими участниками — и превосходит предыдущие модели. Она также отлично справляется с математикой и хорошо проходит экзамены, например Американский пригласительный математический экзамен (AIME).

Рис. 3. Тестирование навыков программирования модели o1.

Благодаря этим достижениям OpenAI o1 стала серьёзным усовершенствованием по сравнению с более ранними моделями, такими как GPT-4o. Она открывает новые возможности для применения ИИ в бизнесе, разработке, исследованиях и здравоохранении. Например, в генетических исследованиях OpenAI o1 может быстро анализировать большое количество научных статей, находить ключевые выводы и связи между генетическими маркерами и заболеваниями. Модель понимает сложный научный язык и может обобщать важные сведения, помогая исследователям сосредоточиться на наиболее релевантной информации.

Подробный разбор цепочки мыслей#

Ранее мы увидели, что OpenAI o1 использует процесс рассуждения «цепочка мыслей». Он позволяет модели решать сложные задачи способом, напоминающим когнитивные стратегии человека. Модель разбивает задачи на более мелкие выполнимые шаги и последовательно уточняет свой подход. В отличие от более ранних моделей, полагавшихся на мгновенное распознавание закономерностей, o1 оптимизирует принятие решений, исследуя различные пути рассуждения и учась как на успехах, так и на ошибках с помощью обучения с подкреплением.

OpenAI решила скрыть от пользователей исходные цепочки мыслей и вместо них показывать краткие сводки, которые позволяют понять ход рассуждений модели, не раскрывая каждый шаг. Это помогает предотвратить злоупотребление процессом рассуждения модели и при этом даёт разработчикам возможность отслеживать и улучшать безопасность ИИ и его соответствие заданным принципам. Анализируя скрытые цепочки внутри системы, разработчики могут убедиться, что o1 соблюдает этические нормы и не допускает вредоносного поведения.

Оценка OpenAI o1#

В нескольких тестах на проверку рассуждений и решения задач OpenAI o1 значительно превзошла GPT-4o. На Американском пригласительном математическом экзамене (AIME) 2024 года, сложном математическом экзамене для лучших старшеклассников, точность o1 составила 74% при одном примере на задачу против 12% у GPT-4o. При согласовании ответов по 64 примерам точность выросла до 83%, а благодаря усовершенствованному методу повторного ранжирования с 1 000 примерами достигла 93%, что позволило модели войти в число 500 лучших учеников страны.

Помимо математики, o1 показала выдающиеся результаты в тестах на научные знания, например в GPQA Diamond, который включает вопросы уровня докторантуры по химии, физике и биологии. Примечательно, что o1 превзошла в этом тесте экспертов с докторской степенью, став первой ИИ-моделью, которой это удалось. Она также опередила GPT-4o в 54 из 57 категорий теста MMLU, оценивающего понимание самых разных предметов, включая историю, право и науку. Более новые модели OpenAI, такие как GPT-6.1 Sol, принимают изображения наряду с текстом, а таблица лидеров Ultralytics VLM сравнивает их результаты обнаружения объектов с результатами других визуально-языковых моделей.

Рис. 4. Оценка OpenAI o1.

Попробуй OpenAI o1 на практике#

OpenAI представила две новые модели ИИ серии o1: o1-preview и o1-mini. Модель o1-preview создана для более глубокого обдумывания перед ответом и отлично справляется со сложными задачами на рассуждение в науке, программировании и математике. Она предлагает расширенные возможности решения задач тем, кто работает над сложными проектами. В отличие от неё, o1-mini — более компактная, быстрая и экономичная модель, специально оптимизированная для рассуждений в области STEM, особенно математики и программирования. Хотя её знания об окружающем мире могут быть менее обширными, по ключевым оценкам, таким как математический конкурс AIME и соревнования по программированию на Codeforces, o1-mini почти не уступает o1-preview и при этом обходится на 80% дешевле.

Рис. 5. Сравнение моделей OpenAI.

Попробовать эти модели можно на разных платформах OpenAI. Пользователи ChatGPT Plus и Team могут выбрать o1-preview и o1-mini в меню выбора модели и оценить улучшенные возможности рассуждения прямо в ChatGPT. Разработчики с доступом API уровня 5 могут начать создавать прототипы на основе этих моделей, хотя некоторые расширенные функции ещё находятся в разработке. OpenAI также планирует вскоре открыть доступ к o1-mini всем пользователям ChatGPT Free. Изучая эти модели, ты сможешь лично оценить прогресс в области рассуждений ИИ и выбрать вариант, который лучше всего соответствует твоим потребностям.

Этические аспекты ИИ в работе OpenAI#

При разработке серии моделей o1 OpenAI уделяла особое внимание этике и безопасности. Перед выпуском моделей o1-preview и o1-mini компания провела тщательную оценку, включая внешнее тестирование и внутренние проверки на такие риски, как запрещённый контент, галлюцинации и предвзятость. Модели обладают расширенными способностями к рассуждению, чтобы лучше понимать правила безопасности и следовать им.

OpenAI также внедрила защитные меры, такие как списки блокировки и классификаторы безопасности, для управления рисками. Общий уровень риска модели o1 оценивается как средний. В таких областях, как кибербезопасность и автономность модели, риски низкие, а в областях, связанных с химическими, биологическими, радиологическими и ядерными (CBRN) материалами и убеждением, — средние. Группа OpenAI по консультированию по вопросам безопасности и совет директоров проверили эти меры, чтобы убедиться, что модель безопасна и этична в использовании.

Рис. 6. Карточка результатов OpenAI o1.

От слухов к реальности: OpenAI o1 выходит на сцену#

OpenAI o1 — большой шаг вперёд в развитии способности ИИ рассуждать, воплощающий в жизнь некоторые ранние слухи. В отличие от GPT-4o, серия o1 глубже обдумывает ответы с помощью подхода «Chain of Thought» («цепочка мыслей»), разбивая сложные задачи на небольшие этапы. Сейчас модель доступна в виде предварительной версии в ChatGPT и через API; OpenAI планирует добавить такие функции, как поиск в интернете и загрузка файлов и изображений. OpenAI также сообщила, что продолжит разрабатывать и выпускать модели серии GPT наряду с новой серией OpenAI o1. По мере развития ИИ подобные достижения прокладывают путь к более мощным, интуитивным и универсальным системам ИИ, которые лучше понимают людей и помогают им.

Будь в курсе последних достижений в области ИИ — присоединяйся к нашему сообществу! Загляни в наш репозиторий GitHub, чтобы узнать, как мы создаём решения ИИ для таких отраслей, как производство и здравоохранение.