최신 OpenAI 업데이트: Canvas, 비전 fine-tuning 등

지난 9월 OpenAI의 o1 모델을 살펴본 이후(추론 능력 향상을 목표로 설계된 모델입니다), ChatGPT에 새롭고 흥미로운 기능이 많이 추가되었습니다. 일부 릴리스는 개발자를 대상으로 하며, 다른 기능들은 사용자 경험을 개선하도록 설계되었습니다. 전반적으로 각 업데이트는 ChatGPT와의 상호작용을 더욱 직관적이고 효과적으로 만드는 데 기여합니다.

협업 문서 작성 및 코딩을 위해 설계된 Canvas와 ChatGPT의 이미지 처리 방식을 개선하는 비전 기능을 위한 파인튜닝과 같은 업데이트는 큰 관심을 불러일으키며 사용자들이 더욱 창의적인 가능성을 탐색하도록 했습니다. 한편 새로운 API와 공정성 테스트 보고서 같은 기술적 업데이트는 모델 통합 및 윤리적 AI 관행과 같은 측면을 다룹니다. 이제 OpenAI의 최신 ChatGPT 기능을 자세히 살펴보고 더 잘 이해해 보겠습니다!

OpenAI Canvas 기능 개요#

Canvas는 ChatGPT 출시 이후 사용자 인터페이스(UI)에 적용된 첫 번째 주요 업데이트입니다. 왼쪽 사이드바에 프롬프트가 표시되고 오른쪽 창에 응답이 표시되는 2화면 레이아웃의 새로운 인터페이스입니다. 새로운 UI는 기존의 채팅과 같은 단일 화면 구조를 없애고, 멀티태스킹에 적합한 2화면 레이아웃으로 전환하여 생산성을 높입니다.

그림 1. Canvas가 ChatGPT에 UI 업데이트를 적용합니다.

Canvas가 도입되기 전에는 ChatGPT에서 긴 형식의 문서를 작업하려면 화면을 여러 번 위아래로 스크롤해야 했습니다. 새로운 레이아웃에서는 왼쪽 사이드바에 프롬프트가 표시되고, 텍스트 문서 또는 코드 스니펫이 화면 대부분을 차지합니다. 필요한 경우 왼쪽 사이드바와 출력 화면의 크기를 직접 조정할 수도 있습니다. 또한 텍스트 일부나 코드 한 섹션을 선택하여 문서 전체를 변경하지 않고 해당 부분만 편집할 수 있습니다.

그림 2. Canvas를 사용하여 텍스트의 특정 섹션을 편집합니다.

Canvas를 사용해 보면 ChatGPT 인터페이스에 Canvas를 열 수 있는 특정 버튼이나 토글이 없다는 것을 알 수 있습니다. 대신 GPT-4o 모델로 작업할 때 편집, 작성 또는 코딩 중임을 감지하면 Canvas가 자동으로 열립니다. 더 간단한 프롬프트에서는 비활성 상태로 유지됩니다. 수동으로 열려면 "Open the Canvas" 또는 "Get me the Canvas layout."과 같은 프롬프트를 사용할 수 있습니다.

현재 Canvas는 베타 버전이며 GPT-4o에서만 사용할 수 있습니다. 그러나 OpenAI는 Canvas가 베타 버전에서 벗어나면 모든 무료 사용자에게 제공될 것이라고 밝혔습니다.

ChatGPT API 업데이트#

OpenAI는 효율성, 확장성 및 다양성 향상을 목표로 하는 세 가지 새로운 ChatGPT API 업데이트를 출시했습니다. 각 업데이트를 자세히 살펴보겠습니다.

모델 증류#

OpenAI API를 통해 모델 증류 기능을 사용하면 개발자는 GPT-4o 또는 o1-preview와 같은 고급 모델의 출력을 활용하여 GPT-4o mini와 같은 더 작고 비용 효율적인 모델의 성능을 향상할 수 있습니다. 모델 증류는 더 작은 모델이 고급 모델의 동작을 모방하도록 학습하는 과정으로, 이를 통해 더 작은 모델을 특정 작업에 더욱 효율적으로 사용할 수 있습니다.

이 기능이 도입되기 전에는 개발자가 다양한 도구를 사용하여 여러 작업을 수동으로 조정해야 했습니다. 이러한 작업에는 데이터 세트 생성, 모델 성능 측정, 모델 파인튜닝이 포함되었으며, 이로 인해 프로세스가 복잡하고 오류가 발생하기 쉬웠습니다. Model Distillation 업데이트를 통해 개발자는 Stored Completions라는 도구를 사용할 수 있습니다. 이 도구는 API를 통해 고급 모델이 생성한 입력-출력 쌍을 캡처하고 저장하여 데이터 세트를 자동으로 생성할 수 있도록 합니다.

Model Distillation의 또 다른 기능인 Evals(현재 베타 버전)는 사용자 지정 평가 스크립트를 만들거나 별도의 도구를 사용하지 않고도 특정 작업에서 모델이 얼마나 잘 작동하는지 측정할 수 있도록 지원합니다. Stored Completions로 생성한 데이터 세트를 사용하고 Evals로 성능을 평가하면 개발자는 자체 사용자 지정 GPT 모델을 파인튜닝할 수 있습니다.

그림 3. Evals를 사용하여 모델 성능을 측정할 수 있습니다.

프롬프트 캐싱#

AI 애플리케이션, 특히 챗봇을 구축할 때 동일한 컨텍스트(현재 요청을 이해하는 데 필요한 배경 정보 또는 이전 대화 기록)를 여러 API 호출에서 반복적으로 사용하는 경우가 많습니다. Prompt Caching을 사용하면 개발자가 최근에 사용한 입력 토큰(모델이 프롬프트를 이해하고 응답을 생성하기 위해 처리하는 텍스트 세그먼트)을 재사용할 수 있어 비용과 지연 시간을 줄이는 데 도움이 됩니다.

10월 1일부터 OpenAI는 GPT-4o, GPT-4o mini, o1-preview 및 o1-mini와 같은 모델에 Prompt Caching을 자동으로 적용했습니다. 이는 개발자가 긴 프롬프트(1,024토큰 초과)를 사용하여 API로 모델과 상호작용할 때 시스템이 이미 처리한 부분을 저장한다는 의미입니다.

이렇게 하면 동일하거나 유사한 프롬프트를 다시 사용할 때 해당 부분을 재계산하지 않고 건너뛸 수 있습니다. 시스템은 이전에 처리한 프롬프트 중 가장 긴 부분을 자동으로 캐시하며, 1,024토큰부터 시작해 프롬프트가 길어질수록 128토큰 단위로 추가합니다.

Realtime API#

음성 어시스턴트를 만들려면 일반적으로 오디오를 텍스트로 변환하고, 텍스트를 처리한 다음, 응답을 재생할 오디오로 변환해야 합니다. OpenAI의 Realtime API는 단일 API 요청으로 이 전체 프로세스를 처리하는 것을 목표로 합니다. API는 프로세스를 간소화하여 AI와의 실시간 대화를 가능하게 합니다.

예를 들어 Realtime API와 통합된 음성 어시스턴트는 사용자 요청에 따라 주문하기 또는 정보 찾기와 같은 특정 작업을 수행할 수 있습니다. 이 API를 사용하면 음성 어시스턴트의 응답성이 향상되고 사용자 요구에 신속하게 적응할 수 있습니다. Realtime API는 10월 1일 6개의 음성으로 공개 베타를 통해 제공되기 시작했습니다. 10월 30일에는 5개의 음성이 추가되어 총 11개의 음성을 사용할 수 있게 되었습니다.

그림 4. 새로운 언어로 대화를 연습하기 위해 Realtime API를 사용하는 예시입니다.

비전 작업을 위한 ChatGPT 파인튜닝#

처음에 GPT-4o 비전 언어 모델은 텍스트 전용 데이터 세트를 사용해서만 파인튜닝하고 사용자 지정할 수 있었습니다. 이제 vision fine-tuning API가 출시되어 개발자는 이미지 데이터 세트를 사용하여 GPT-4o를 학습시키고 사용자 지정할 수 있습니다. 출시 이후 vision fine-tuning은 개발자와 컴퓨터 비전 엔지니어 사이에서 주요 관심 주제가 되었습니다.

GPT-4o의 비전 기능을 파인튜닝하기 위해 개발자는 최소 100개에서 최대 50,000개의 이미지로 구성된 이미지 데이터 세트를 사용할 수 있습니다. 데이터 세트가 OpenAI에서 요구하는 형식과 일치하는지 확인한 후 OpenAI 플랫폼에 업로드하면 모델을 특정 애플리케이션에 맞게 파인튜닝할 수 있습니다.

예를 들어 자동화 기업인 Automat은 스크린샷 데이터 세트를 사용하여 화면의 설명을 기반으로 UI 요소를 식별할 수 있도록 GPT-4o를 학습시켰습니다. 이를 통해 봇이 사용자 인터페이스와 더 쉽게 상호작용할 수 있어 로봇 프로세스 자동화(RPA)를 간소화할 수 있습니다. 고정된 좌표나 복잡한 선택기 규칙에 의존하는 대신 모델이 간단한 설명을 기반으로 UI 요소를 식별하므로, 인터페이스가 변경될 때 자동화 설정을 더욱 유연하게 조정하고 쉽게 유지 관리할 수 있습니다.

그림 5. 파인튜닝된 GPT-4o 모델을 사용하여 UI 요소를 감지하는 모습입니다.

ChatGPT의 공정성 및 편향 감지#

AI가 점점 더 발전함에 따라 AI 애플리케이션을 둘러싼 윤리적 우려가 주요 논의 주제가 되고 있습니다. ChatGPT의 응답은 사용자가 제공한 프롬프트와 인터넷에서 이용 가능한 데이터를 기반으로 하므로, 항상 책임감 있는 방식으로 언어를 파인튜닝하기는 어려울 수 있습니다. 보고서에 따르면 ChatGPT의 답변은 이름, 성별 및 인종에 따라 편향되어 있습니다. 이 문제를 해결하기 위해 OpenAI의 내부 팀은 최초로 1인칭 공정성 테스트를 실시했습니다.

이름에는 우리 문화와 지리적 요인에 대한 미묘한 단서가 담겨 있는 경우가 많습니다. 대부분의 경우 ChatGPT는 이름에 담긴 이러한 미묘한 단서를 무시합니다. 그러나 일부 경우에는 인종이나 문화를 반영하는 이름에 따라 ChatGPT의 응답이 달라지며, 이러한 응답 중 약 1%에는 유해한 언어가 포함됩니다. 편향과 유해한 언어를 제거하는 일은 언어 모델에게 어려운 과제입니다. 그러나 이러한 결과를 공개적으로 공유하고 모델의 한계를 인정함으로써 OpenAI는 사용자가 더욱 중립적이고 편향되지 않은 답변을 얻도록 프롬프트를 개선하는 데 도움을 줍니다.

그림 6. 사용자의 이름에 따라 응답이 달라지는 예시입니다.

ChatGPT Search 이해하기#

ChatGPT가 처음 출시되었을 때 AI 커뮤니티에서는 ChatGPT가 기존 웹 브라우징을 대체할 수 있는지를 두고 논의가 있었습니다. 이제 많은 사용자가 Google Search 대신 ChatGPT를 사용하고 있습니다.

OpenAI의 새로운 업데이트인 Search 기능은 이를 한 단계 더 발전시킵니다. Search를 사용하면 ChatGPT가 최신 정보를 반영한 응답을 생성하고 관련 출처로 연결되는 링크를 포함합니다. 10월 31일 기준으로 Search 기능은 모든 ChatGPT Plus 및 Team 사용자에게 제공되어 ChatGPT가 AI 기반 검색 엔진처럼 작동하도록 합니다.

그림 7. ChatGPT의 새로운 Search 기능 사용 예시입니다.

앞으로의 방향#

ChatGPT의 최근 업데이트는 AI를 더욱 유용하고 유연하며 공정하게 만드는 데 초점을 맞추고 있습니다. 새로운 Canvas 기능은 사용자가 더욱 효율적으로 작업할 수 있도록 지원하며, vision fine-tuning을 통해 개발자는 모델을 사용자 지정하여 시각적 작업을 더 잘 처리하도록 만들 수 있습니다. 공정성 문제를 해결하고 편향을 줄이는 것 역시 핵심 우선순위이며, 이를 통해 AI가 사용자의 배경이나 정체성과 관계없이 모두에게 잘 작동하도록 합니다. 모델을 파인튜닝하는 개발자든 최신 기능을 단순히 사용하는 사용자든, ChatGPT는 광범위한 요구를 충족하도록 발전하고 있습니다. 실시간 기능, 시각적 통합 및 책임감 있는 사용에 대한 focus를 바탕으로 이러한 업데이트는 모두에게 더욱 신뢰할 수 있고 안정적인 AI 경험을 구축하고 있습니다.

GitHub 리포지토리를 방문하고 커뮤니티에 참여하여 AI에 대해 더 자세히 알아보세요. 자율주행 및 헬스케어 분야의 AI 애플리케이션에 대해서도 알아보세요.