OpenAI o1: новая серия моделей OpenAI для рассуждений в ИИ

В сообществе специалистов по ИИ не утихают предположения о следующем шаге для моделей GPT от OpenAI, и многие называют его «Project Strawberry». Причина в том, что если попросить GPT-4o посчитать, сколько букв R в слове "strawberry", он ответит, что в слове "strawberry" их две. Это может показаться странным, учитывая, насколько мощен GPT-4o. Однако модель создана для обработки подтекста, а не точных слов. Ходили слухи, что следующая модель будет призвана решить эту проблему. Сэм Альтман дополнительно подогрел эти слухи, опубликовав фотографии клубники в своем аккаунте X (ранее известном как Twitter).

После последнего объявления OpenAI в четверг, 12 сентября, мы наконец получили ответ на эти предположения! OpenAI o1 — новая серия моделей ИИ, разработанных так, чтобы замедлиться и подумать перед ответом, — выпущена. Интересно, что OpenAI o1 умеет лучше рассуждать и правильно отвечает на вопрос о клубнике! В этой статье мы обсудим, что такое OpenAI o1, как он работает, где его можно использовать и что это значит для будущего ИИ. Давай начнем!

Рис. 1. Пример запроса к OpenAI o1 о клубнике.

Новые достижения OpenAI в области ИИ#

В июле 2024 года руководители OpenAI сообщили, что исследования OpenAI приближаются к человеческому уровню решения задач, который называют уровнем 2 ИИ. Очевидно, что этот уровень сосредоточен на рассуждениях: OpenAI представляет новую серию моделей OpenAI o1 как способную думать перед ответом. OpenAI o1 — это новая большая языковая модель (LLM), модель ИИ, которая понимает текст, похожий на созданный человеком, и генерирует его, изучая закономерности на основе огромных объемов языковых данных. Она разработана для решения сложных задач, требующих глубокого рассуждения.

Рис. 2. Взгляд OpenAI на этапы развития ИИ.

Модель была обучена с использованием обучения с подкреплением — метода, при котором модель учится принимать более удачные решения методом проб и ошибок, получая вознаграждения или штрафы за свои действия. Алгоритм обучения с подкреплением помогает модели эффективнее думать, следуя цепочке рассуждений. OpenAI также сообщила, что показатели o1 продолжают улучшаться при дальнейшем обучении с подкреплением и при увеличении времени, затрачиваемого на «размышления» во время решения задач, показывая, что и более длительное обучение, и тщательная обработка помогают повысить способности модели.

Хотя OpenAI o1 представляет собой значительный шаг вперед в сложных рассуждениях, это все еще ранняя модель, в которой отсутствуют некоторые функции, делающие ChatGPT полезным, например просмотр веб-страниц или загрузка файлов и изображений. Для многих распространенных задач GPT-4o пока может оставаться более способным. Однако OpenAI o1 знаменует большой прогресс в способности ИИ справляться со сложными рассуждениями, поэтому OpenAI начинает новую серию и называет ее OpenAI o1.

Как новые модели OpenAI улучшают рассуждения ИИ#

OpenAI o1 можно использовать для таких задач, как расшифровка шифров, решение задач по программированию и математике, разгадывание кроссвордов и даже работа со сложными темами в области науки, безопасности и здравоохранения. В забавной отсылке к кодовому названию проекта OpenAI продемонстрировала способности к рассуждению модели: она взломала шифр, раскрывший сообщение "THERE ARE THREE R’S IN STRAWBERRY."

Помимо расшифровки шифров, OpenAI o1 также хорошо справляется с программированием. Модель успешно решает задачи на соревнованиях по программированию, таких как Codeforces — платформе, где программисты решают сложные задачи в условиях ограниченного времени. На таких соревнованиях модель получает высокие рейтинги Elo (система оценки, измеряющая уровень навыков по результатам выступлений против других участников) и превосходит предыдущие модели. Она также отлично справляется с математикой и хорошо показывает себя на экзаменах, таких как Американский математический экзамен по приглашению (AIME).

Рис. 3. Сравнительный анализ способностей o1 к программированию.

Эти достижения делают OpenAI o1 значительным улучшением по сравнению с более ранними моделями, такими как GPT-4o. Модель открывает новые возможности для ИИ в таких областях, как бизнес, разработка, исследования и здравоохранение. Например, в генетических исследованиях OpenAI o1 может быстро просмотреть большое количество научных статей, выделив ключевые выводы и связи между генетическими маркерами и заболеваниями. Модель понимает сложный научный язык и умеет обобщать важные моменты, помогая исследователям сосредоточиться на наиболее релевантной информации.

Подробный разбор цепочки рассуждений#

Ранее мы видели, что OpenAI o1 представляет процесс рассуждения «Chain of Thought». Он позволяет модели решать сложные задачи способом, похожим на человеческие когнитивные стратегии. Модель может разбивать задачи на более мелкие, управляемые шаги и итеративно совершенствовать свой подход. В отличие от более ранних моделей, которые полагались на мгновенное распознавание закономерностей, o1 оптимизирует принятие решений, исследуя несколько путей рассуждения и обучаясь как на успехах, так и на ошибках с помощью обучения с подкреплением.

OpenAI решила скрывать от пользователей необработанные цепочки рассуждений, предлагая вместо этого краткие сводки, которые дают представление о логике модели, не раскрывая каждый шаг. Это решение помогает предотвратить неправомерное использование процесса рассуждения модели, одновременно позволяя разработчикам контролировать и совершенствовать безопасность и согласованность ИИ. Наблюдая за скрытыми цепочками внутри системы, разработчики могут убедиться, что o1 соблюдает этические нормы и избегает вредного поведения.

Сравнительный анализ OpenAI o1#

OpenAI o1 демонстрирует значительные улучшения по сравнению с GPT-4o в нескольких тестах, проверяющих способности к рассуждению и решению задач. На Американском математическом экзамене по приглашению (AIME) 2024 — сложном экзамене по математике для лучших старшеклассников — o1 достиг точности 74% всего с одним вариантом ответа на задачу, тогда как у GPT-4o этот показатель составил 12%. При согласовании результатов по 64 вариантам точность выросла до 83%, а после применения улучшенного метода повторного ранжирования с 1 000 вариантами достигла 93%, что позволило модели войти в число 500 лучших учащихся страны.

Помимо математики, o1 показал исключительно высокие результаты в тестах научных знаний, таких как GPQA Diamond, охватывающем вопросы уровня PhD по физике, биологии и химии. Примечательно, что o1 превзошел в этом тесте людей-экспертов с учеными степенями PhD, став первой моделью ИИ, которой это удалось. Модель также превзошла GPT-4o в 54 из 57 категорий теста MMLU, проверяющего понимание широкого спектра предметов, включая историю, право и естественные науки.

Рис. 4. Сравнительный анализ OpenAI o1.

Попробуй OpenAI o1 на практике#

OpenAI представила две новые модели ИИ в серии o1: o1-preview и o1-mini. Модель o1-preview разработана для более глубокого обдумывания ответа и отлично справляется со сложными задачами на рассуждение в области науки, программирования и математики. Она предоставляет расширенные возможности решения задач пользователям, работающим над сложными проектами. В отличие от нее, o1-mini — меньшая, более быстрая и экономичная модель, специально оптимизированная для рассуждений в STEM, особенно в математике и программировании. Хотя ее общие знания о мире могут быть менее широкими, o1-mini почти соответствует o1-preview по результатам ключевых оценок, таких как математическое соревнование AIME и задачи по программированию на Codeforces, при этом ее использование обходится на 80% дешевле.

Рис. 5. Сравнение моделей OpenAI.

Ты можешь попробовать эти модели через различные платформы OpenAI. Пользователи ChatGPT Plus и Team могут получить доступ к o1-preview и o1-mini через меню выбора модели и напрямую в ChatGPT оценить улучшенные возможности рассуждения. Разработчики с доступом уровня 5 к API могут начать создавать прототипы с этими моделями, хотя некоторые расширенные функции все еще находятся в разработке. OpenAI также планирует вскоре сделать o1-mini доступной всем пользователям ChatGPT Free. Изучая эти модели, ты можешь лично оценить достижения в области рассуждений ИИ и выбрать вариант, который лучше всего соответствует твоим потребностям.

Этические аспекты ИИ, учтенные OpenAI#

При разработке серии моделей o1 OpenAI уделяла особое внимание этике и безопасности. Перед выпуском моделей o1-preview и o1-mini компания провела тщательную оценку, включая внешние тесты и внутренние проверки рисков, связанных с запрещенным контентом, галлюцинациями и предвзятостью. Модели разработаны с расширенными способностями к рассуждению, чтобы лучше понимать правила безопасности и следовать им.

OpenAI также внедрила такие меры защиты, как черные списки и классификаторы безопасности, для управления рисками. Общий уровень риска модели o1 — средний. Она несет низкие риски в таких областях, как кибербезопасность и автономность модели, и средние риски в таких областях, как контент химического, биологического, радиологического и ядерного характера (CBRN) и убеждение. Консультативная группа OpenAI по безопасности и совет директоров рассмотрели эти меры безопасности, чтобы убедиться, что модель безопасна и этична в использовании.

Рис. 6. Оценочная карта OpenAI o1.

От слухов к реальности: OpenAI o1 выходит на сцену#

OpenAI o1 — большой шаг вперед в рассуждениях ИИ, превращающий некоторые ранние слухи в реальность. В отличие от GPT-4o, серия o1 глубже обдумывает ответы, используя подход «Chain of Thought» и разбивая сложные задачи на более мелкие шаги. Сейчас OpenAI o1 доступна в ChatGPT и через API в формате ранней предварительной версии, а OpenAI планирует добавить такие функции, как просмотр веб-страниц и загрузка файлов и изображений. OpenAI также сообщила о планах продолжать разработку и выпуск моделей серии GPT наряду с новой серией OpenAI o1. По мере развития ИИ подобные достижения прокладывают путь к более мощным, интуитивным и универсальным системам ИИ, которые лучше помогают людям и понимают их потребности.

Будь в курсе последних новостей в области ИИ — присоединяйся к нашему сообществу! Загляни в наш репозиторий на GitHub, чтобы узнать, как мы создаем передовые решения ИИ для таких отраслей, как производство и здравоохранение. 🚀