OpenAI o1: AI 추론을 위한 새로운 OpenAI 모델 시리즈

AI 커뮤니티는 OpenAI’s GPT models의 다음 행보에 대한 추측으로 떠들썩했으며, 많은 이들이 이를 "프로젝트 스트로베리(Project Strawberry)"라고 불렀습니다. 그 이유는 prompt GPT-4o에게 "strawberry"라는 단어에 R이 몇 개 들어가는지 물어보면 "strawberry"라는 단어에 R이 두 개 있다고 답하기 때문입니다. GPT-4o가 얼마나 강력한지를 고려하면 이상하게 보일 수 있습니다. 하지만 이 모델은 정확한 단어가 아닌 하부 텍스트를 처리하도록 구축되어 있습니다. 차기 모델이 이를 해결하는 것을 목표로 할 것이라는 소문이 돌았습니다. 샘 알트만(Sam Altman)은 자신의 X (formerly known as Twitter) account에 딸기 사진을 게시하여 이러한 소문에 불을 지폈습니다.

9월 12일 목요일에 발표된 OpenAI’s latest announcement를 통해 드디어 그 추측에 대한 답을 얻게 되었습니다! 응답하기 전에 잠시 멈추고 생각하도록 설계된 새로운 AI 모델 시리즈인 OpenAI o1이 출시되었습니다. 흥미롭게도 OpenAI o1은 더 나은 추론 능력을 발휘하며 딸기에 관한 질문에 올바르게 대답할 수 있습니다! 이 글에서는 OpenAI o1이 무엇이고, 어떻게 작동하며, 어디에 사용될 수 있고, 이것이 AI의 미래에 어떤 의미를 갖는지 살펴보겠습니다. 시작하겠습니다!

Fig 1. OpenAI o1에 딸기에 대해 프롬프트를 입력한 예시.

OpenAI의 새로운 AI 기술 발전#

2024년 7월, OpenAI 경영진은 OpenAI의 연구가 인간 수준의 문제 해결 능력에 근접하고 있으며, 이를 level 2 of AI라고 부른다고 밝혔습니다. OpenAI가 답변하기 전에 생각하는 새로운 모델 시리즈인 OpenAI o1을 소개함에 따라, 이 수준이 추론에 초점을 맞추고 있음이 분명해졌습니다. OpenAI o1은 방대한 언어 데이터에서 패턴을 학습하여 인간과 유사한 텍스트를 이해하고 생성하는 AI 모델인 새로운 LLM (large language model)입니다. 심층적인 추론이 필요한 복잡한 문제를 처리하도록 설계되었습니다.

Fig 2. AI 단계에 대한 OpenAI의 관점.

이 모델은 reinforcement learning을 사용하여 trained되었습니다. 강화학습은 모델이 행동에 대한 보상이나 벌을 받으면서 시행착오를 통해 더 나은 결정을 내리도록 학습하는 기술입니다. 강화학습 알고리즘은 모델이 사고의 흐름을 따라 더욱 효과적으로 생각할 수 있도록 돕습니다. 또한 OpenAI는 o1의 performance가 훈련 중 더 많은 강화학습과 문제 해결 중 "생각"하는 데 더 많은 시간을 할애함에 따라 계속 향상된다고 밝혔으며, 이는 확장된 훈련과 사려 깊은 처리 모두 모델의 능력을 향상시키는 데 도움이 된다는 것을 보여줍니다.

OpenAI o1은 복잡한 추론에 있어 중요한 발전이지만, 아직 초기 모델이며 웹 브라우징이나 파일 및 이미지 업로드와 같이 ChatGPT를 유용하게 만드는 일부 기능이 부족합니다. 많은 일반적인 작업의 경우 당분간은 GPT-4o가 더 유능할 수 있습니다. 그러나 OpenAI o1은 AI가 복잡한 추론을 처리하는 능력에 있어 큰 진전을 의미하며, 이것이 바로 OpenAI가 새로운 시리즈를 시작하고 이를 OpenAI o1이라고 명명한 이유입니다.

새로운 OpenAI 모델이 AI 추론을 향상시키는 방법#

OpenAI o1은 암호 해독, 프로그래밍 챌린지 해결, 수학 문제 풀이, 십자말풀이, 심지어 science, safety, healthcare의 복잡한 주제를 처리하는 등의 작업에 사용될 수 있습니다. 프로젝트의 코드명에 대한 재미있는 오마주로, OpenAI는 "THERE ARE THREE R’S IN STRAWBERRY."라는 메시지를 드러내는 암호를 해독하여 모델의 reasoning skills를 보여주었습니다.

암호 해독 외에도 OpenAI o1은 코딩에도 능숙합니다. 프로그래머가 제한된 시간 내에 복잡한 코딩 문제를 해결하는 플랫폼인 코드포스(Codeforces)와 같은 경쟁 프로그래밍 챌린지에서 좋은 성과를 거둡니다. 이러한 챌린지에서 이 모델은 높은 Elo 등급(다른 경쟁자와의 성과를 바탕으로 기술 수준을 측정하는 채점 시스템)을 달성하고 이전 모델들을 능가합니다. 또한 수학 분야에서도 탁월하며 미국 수학 초대 시험(AIME)과 같은 exams에서 좋은 성적을 거둡니다.

Fig 3. o1의 코딩 능력 벤치마킹.

이러한 발전으로 인해 OpenAI o1은 GPT-4o와 같은 이전 모델에 비해 크게 업그레이드되었습니다. business, 개발, research, healthcare 등의 분야에서 AI의 새로운 가능성을 열어줍니다. 예를 들어 genetics research에서 OpenAI o1은 방대한 양의 연구 논문을 빠르게 훑어보며 핵심적인 발견과 유전적 표지 및 diseases 간의 연관성을 찾아낼 수 있습니다. 복잡한 과학 언어를 이해하고 중요한 요점을 요약하여 연구자들이 가장 관련성 높은 정보에 집중할 수 있도록 돕습니다.

사고의 연쇄에 대한 심층 분석#

앞서 보았듯이 OpenAI o1은 "생사(Chain of Thought)" 추론 프로세스를 도입합니다. 이를 통해 모델은 인간의 인지 전략과 유사한 방식으로 복잡한 문제를 해결할 수 있습니다. 모델은 과제를 더 작고 관리하기 쉬운 단계로 나누고 접근 방식을 반복적으로 개선할 수 있습니다. 즉각적인 pattern recognition에 의존했던 이전 models와 달리, o1은 여러 추론 경로를 탐색하고 강화학습을 통해 성공과 실수 모두에서 배우며 의사결정을 최적화합니다.

OpenAI는 이러한 원시 사고의 흐름을 사용자에게 숨기기로 결정했으며, 대신 모든 단계를 노출하지 않으면서 모델의 추론에 대한 통찰력을 제공하는 요약을 제공합니다. 이 결정은 개발자가 AI 안전성과 정렬을 모니터링하고 개선할 수 있도록 허용하면서 모델의 사고 과정 오용을 방지하는 데 도움이 됩니다. 개발자는 내부적으로 숨겨진 사고 흐름을 관찰함으로써 o1이 ethical guidelines를 준수하고 유해한 행동을 방지하는지 확인할 수 있습니다.

OpenAI o1 벤치마킹#

OpenAI o1은 추론 및 문제 해결 능력을 테스트하는 여러 benchmarks에서 GPT-4o에 비해 큰 폭의 개선을 보여줍니다. 상위 고등학생을 위한 고난도 수학 시험인 2024년 미국 수학 초대 시험(AIME)에서 o1은 문제당 단일 샘플만으로 74%의 정답률을 기록했으며, 이는 GPT-4o의 12%와 비교되는 수치입니다. 64개 샘플의 합의를 거쳤을 때는 정답률이 83%로 상승했으며, 1,000개의 샘플을 사용한 정교한 재랭킹 방법을 통해 93%에 도달하여 전국 상위 500위 안에 들었습니다.

수학 외에도 o1은 화학, physics, biology의 박사 수준 질문을 다루는 GPQA 다이아몬드(Diamond)와 같은 과학 지식 테스트 벤치마킹에서도 뛰어난 성능을 보였습니다. 놀랍게도 o1은 이 테스트에서 박사 학위를 가진 인간 전문가들을 능가하여 그렇게 한 최초의 AI 모델이 되었습니다. 또한 history, law, 과학을 포함한 다양한 주제에 걸쳐 이해도를 테스트하는 MMLU 벤치마크의 57개 카테고리 중 54개에서 GPT-4o를 능가했습니다.

Fig 4. OpenAI o1 벤치마킹.

OpenAI o1 직접 경험하기#

OpenAI는 o1 시리즈에서 o1-preview와 o1-mini라는 두 가지 새로운 AI 모델을 도입했습니다. o1-preview 모델은 응답하기 전에 더 깊이 생각하도록 설계되어 과학, 코딩, 수학 분야의 복잡한 추론 작업에서 탁월한 능력을 발휘합니다. 까다로운 프로젝트를 수행하는 사용자에게 고급 문제 해결 기능을 제공합니다. 반면 o1-mini는 특히 수학 및 코딩과 같은 STEM 추론에 최적화된 더 작고 빠르며 비용 효율적인 모델입니다. 폭넓은 세계 지식은 적을 수 있지만, o1-mini는 AIME 수학 대회나 Codeforces 코딩 챌린지와 같은 주요 평가에서 o1-preview의 성능을 거의 따라잡으면서도 비용은 80% 더 저렴합니다.

Fig 5. OpenAI 모델 비교.

다양한 OpenAI 플랫폼을 통해 이 모델들을 사용해 볼 수 있습니다. ChatGPT Plus 및 Team 사용자는 모델 선택기(model picker)를 통해 o1-preview와 o1-mini 모두에 액세스하여 ChatGPT에서 향상된 추론 기능을 직접 경험할 수 있습니다. API 사용 등급 5 권한이 있는 개발자는 이 모델들로 프로토타이핑을 시작할 수 있지만, 일부 고급 기능은 아직 개발 중입니다. OpenAI는 또한 곧 모든 ChatGPT 무료 사용자에게 o1-mini를 제공할 계획입니다. 이러한 모델을 탐색함으로써 AI 추론의 발전을 직접 경험하고 자신의 필요에 가장 적합한 모델을 선택할 수 있습니다.

OpenAI가 고려한 윤리적 AI 고려 사항#

OpenAI는 o1 모델 시리즈를 개발하는 동안 ethics and safety에 초점을 맞추었습니다. o1-preview 및 o1-mini 모델을 출시하기 전에, 허용되지 않는 콘텐츠, 환각, 편향 등의 위험에 대한 외부 테스트 및 내부 검증을 포함한 철저한 평가를 수행했습니다. 이 모델들은 안전 규칙을 더 잘 이해하고 준수할 수 있도록 고급 추론 능력을 갖추어 설계되었습니다.

또한 OpenAI는 위험을 관리하기 위해 차단 목록 및 안전 분류기와 같은 안전장치를 구현했습니다. o1 모델은 중간 수준의 종합 위험 등급을 가지고 있습니다. 사이버 보안 및 모델 자율성 같은 영역에서는 위험이 낮고, CBRN(화학, 생물, 방사능, 핵) 콘텐츠 및 설득 같은 영역에서는 중간 수준의 위험을 보입니다. OpenAI의 안전 자문 그룹(Safety Advisory Group)과 이사회(Board)는 모델을 안전하고 윤리적으로 사용할 수 있도록 이러한 safety measures를 검토했습니다.

Fig 6. OpenAI o1 스코어카드.

소문에서 현실로: OpenAI o1이 무대에 오르다#

OpenAI o1은 AI 추론의 큰 진전이며, 초기 소문 중 일부를 현실로 바꾸었습니다. GPT-4o와 달리 o1 시리즈는 "사고의 연쇄(Chain of Thought)" 접근 방식을 사용하여 더 깊이 생각하고 복잡한 문제를 더 나은 응답을 위해 더 작은 단계로 세분화합니다. 현재 ChatGPT와 API에서 초기 미리보기로 제공되고 있으며, OpenAI는 웹 브라우징과 파일 및 이미지 업로드와 같은 기능을 추가할 계획입니다. OpenAI는 또한 새로운 OpenAI o1 시리즈와 함께 GPT 시리즈 모델을 계속 개발하고 출시할 계획이라고 밝혔습니다. AI가 계속 진화함에 따라 이러한 발전은 인간의 요구를 더 잘 지원하고 이해할 수 있는 더욱 강력하고 직관적이며 다재다능한 AI 시스템을 위한 길을 열고 있습니다.

our community에 가입하여 최신 AI 트렌드를 놓치지 마세요! manufacturing 및 healthcare 등의 부문에서 우리가 어떻게 AI 솔루션을 개척하고 있는지 GitHub repository에서 확인해 보세요. 🚀