OpenAI의 최신 업데이트: Canvas, 비전 파인튜닝 등

9월에 OpenAI의 o1 모델(추론 능력 향상을 위해 설계됨)을 살펴본 이후 ChatGPT에 새롭고 흥미로운 기능이 많이 추가되었습니다. 이 중 일부는 개발자를 위한 기능이며, 나머지는 사용자 경험을 개선하기 위해 설계되었습니다. 전반적으로 각 업그레이드는 ChatGPT와의 상호작용을 더욱 직관적이고 효과적으로 만드는 데 기여합니다.

공동으로 글을 쓰고 코드를 작성하도록 설계된 Canvas와 ChatGPT의 이미지 처리 기능을 개선하는 비전 역량 미세 조정과 같은 업데이트는 큰 관심을 불러일으켜 사용자가 더 창의적인 가능성을 탐색하도록 했습니다. 한편 새로운 API와 공정성 테스트 보고서 같은 기술적 업그레이드는 모델 통합 및 윤리적 AI 실천과 같은 측면을 다룹니다. OpenAI의 최신 ChatGPT 기능을 자세히 살펴보겠습니다.

OpenAI Canvas 기능 개요#

Canvas는 ChatGPT 출시 이후 처음으로 이루어진 대규모 사용자 인터페이스(UI) 업데이트입니다. 왼쪽 사이드바에 프롬프트를 표시하고 오른쪽 창에 응답을 표시하는 2화면 레이아웃의 새로운 인터페이스입니다. 새로운 UI는 일반적인 채팅 형태의 단일 화면 작업 흐름을 없애고, 생산성을 높이는 멀티태스킹에 적합한 2화면 레이아웃을 도입합니다.

그림 1. ChatGPT UI를 개선하는 Canvas.

Canvas가 도입되기 전에는 ChatGPT에서 긴 문서를 다루려면 화면을 위아래로 많이 스크롤해야 했습니다. 새로운 레이아웃에서는 프롬프트가 왼쪽 사이드바에 표시되고 텍스트 문서나 코드 조각이 화면의 대부분을 차지합니다. 필요하다면 왼쪽 사이드바와 출력 화면의 크기를 조정할 수도 있습니다. 또한 문서 전체를 바꾸지 않고 텍스트 일부나 코드 구간을 선택해 해당 부분만 편집할 수 있습니다.

그림 2. Canvas를 사용해 텍스트의 특정 섹션 편집하기.

Canvas를 사용하더라도 ChatGPT 인터페이스에서 Canvas를 여는 전용 버튼이나 토글은 찾을 수 없습니다. 대신 GPT-4o 모델로 작업할 때 편집, 작성, 코딩 중인 것으로 감지되면 Canvas가 자동으로 열립니다. 더 간단한 프롬프트에서는 Canvas가 비활성 상태로 유지됩니다. 수동으로 열려면 "Open the Canvas" 또는 "Get me the Canvas layout"과 같은 프롬프트를 사용할 수 있습니다.

현재 Canvas는 베타 버전이며 GPT-4o에서만 사용할 수 있습니다. 하지만 OpenAI는 베타가 종료되면 모든 무료 사용자가 Canvas를 사용할 수 있게 될 것이라고 밝혔습니다.

ChatGPT API 업데이트#

OpenAI는 효율성, 확장성, 다용성을 개선하기 위한 ChatGPT API 업데이트 세 가지를 출시했습니다. 각 업데이트를 자세히 살펴보겠습니다.

모델 증류#

OpenAI API를 통해 모델 증류 기능을 사용하면 개발자는 GPT-4o 또는 o1-preview와 같은 고급 모델의 출력을 활용해 GPT-4o mini와 같이 작고 비용 효율적인 모델의 성능을 향상할 수 있습니다. 모델 증류는 더 작은 모델이 고급 모델의 동작을 모방하도록 학습하는 과정으로, 특정 작업에서 효율성을 높입니다.

이 기능이 도입되기 전에는 개발자가 다양한 도구를 사용해 여러 작업을 수동으로 조율해야 했습니다. 이러한 작업에는 데이터셋 생성, 모델 성능 측정, 모델 미세 조정이 포함되었으며, 이 과정은 복잡하고 오류가 발생하기 쉬웠습니다. 모델 증류 업데이트를 통해 개발자는 API를 통해 고급 모델이 생성한 입력·출력 쌍을 캡처하고 저장해 데이터셋을 자동으로 생성하는 도구인 저장된 완성(Stored Completions)을 사용할 수 있습니다.

모델 증류의 또 다른 기능인 평가(Evals)는 현재 베타 버전으로, 맞춤 평가 스크립트를 만들거나 별도의 도구를 사용하지 않고도 특정 작업에서 모델이 얼마나 잘 작동하는지 측정할 수 있도록 돕습니다. 개발자는 저장된 완성으로 생성한 데이터셋과 Evals를 이용한 성능 평가를 통해 자체 맞춤형 GPT 모델을 미세 조정할 수 있습니다.

그림 3. Evals를 사용해 모델 성능을 측정할 수 있습니다.

프롬프트 캐싱#

AI 애플리케이션, 특히 챗봇을 구축할 때는 현재 요청을 이해하는 데 필요한 배경 정보나 이전 대화 기록인 동일한 컨텍스트를 여러 API 호출에서 반복적으로 사용하는 경우가 많습니다. 프롬프트 캐싱을 사용하면 개발자가 최근 사용한 입력 토큰을 재사용할 수 있습니다. 입력 토큰은 모델이 프롬프트를 이해하고 응답을 생성하기 위해 처리하는 텍스트 구간이며, 재사용을 통해 비용과 지연 시간을 줄일 수 있습니다.

OpenAI는 10월 1일부터 GPT-4o, GPT-4o mini, o1-preview, o1-mini와 같은 모델에 프롬프트 캐싱을 자동으로 적용했습니다. 따라서 개발자가 API를 사용해 긴 프롬프트(토큰 1,024개 초과)로 모델과 상호작용하면, 시스템이 이미 처리한 부분을 저장합니다.

이렇게 하면 동일하거나 유사한 프롬프트를 다시 사용할 때 해당 부분을 재계산하지 않아도 됩니다. 시스템은 이전에 처리한 프롬프트 중 가장 긴 부분을 자동으로 캐싱하며, 토큰 1,024개부터 시작해 프롬프트가 길어질 때마다 토큰 128개 단위로 추가합니다.

Realtime API#

음성 어시스턴트를 만들려면 일반적으로 오디오를 텍스트로 전사하고, 텍스트를 처리한 다음 응답을 재생할 수 있도록 다시 오디오로 변환해야 합니다. OpenAI의 Realtime API는 단일 API 요청으로 이 전체 과정을 처리하는 것을 목표로 합니다. 이 과정을 간소화함으로써 API는 AI와 실시간 대화를 가능하게 합니다.

예를 들어 Realtime API와 통합된 음성 어시스턴트는 사용자 요청에 따라 주문을 넣거나 정보를 찾는 등의 특정 작업을 수행할 수 있습니다. API를 사용하면 음성 어시스턴트의 응답성이 높아지고 사용자의 요구에 빠르게 적응할 수 있습니다. Realtime API는 10월 1일 6가지 음성 옵션으로 공개 베타를 시작했습니다. 10월 30일에 음성 옵션 5가지가 추가되어 총 11가지를 사용할 수 있게 되었습니다.

그림 4. Realtime API를 사용해 새로운 언어로 대화를 연습하는 예시.

비전 작업을 위한 ChatGPT 파인튜닝#

기존에는 GPT-4o 비전 언어 모델을 텍스트 전용 데이터셋으로만 미세 조정하고 맞춤화할 수 있었습니다. 이제 비전 미세 조정 API가 출시되어 개발자는 이미지 데이터셋을 사용해 GPT-4o를 학습하고 맞춤화할 수 있습니다. 출시 이후 비전 미세 조정은 개발자와 컴퓨터 비전 엔지니어 사이에서 큰 관심을 받는 주제가 되었습니다.

GPT-4o의 비전 기능을 파인튜닝하려면 이미지 100개에서 최대 50,000개로 구성된 데이터셋을 사용할 수 있습니다. 데이터셋이 OpenAI가 요구하는 형식에 맞는지 확인한 후 OpenAI 플랫폼에 업로드하면, 특정 애플리케이션에 맞게 모델을 파인튜닝할 수 있습니다.

예를 들어 자동화 기업 Automat은 스크린샷 데이터셋을 사용해 화면의 UI 요소를 설명에 따라 식별하도록 GPT-4o를 학습했습니다. 이를 통해 봇이 사용자 인터페이스와 더 쉽게 상호작용하도록 해 로보틱 프로세스 자동화(RPA)를 간소화할 수 있습니다. 고정 좌표나 복잡한 선택자 규칙에 의존하는 대신, 모델은 간단한 설명을 바탕으로 UI 요소를 식별하므로 인터페이스가 변경되어도 자동화 설정을 더 유연하게 조정하고 쉽게 유지관리할 수 있습니다. GPT-6.1 Sol과 같은 최신 OpenAI 모델은 미세 조정 없이 객체를 탐지할 수 있으며, VLM 벤치마크 결과는 실제 데이터셋에서 다른 비전 언어 모델과 어떻게 비교되는지 보여줍니다.

그림 5. 파인튜닝한 GPT-4o 모델을 사용해 UI 요소를 탐지하는 모습.

ChatGPT의 공정성 및 편향 탐지#

AI가 점점 더 발전하면서 AI 애플리케이션을 둘러싼 윤리적 우려가 주요 논의 주제가 되고 있습니다. ChatGPT의 응답은 사용자가 제공한 프롬프트와 인터넷에서 이용할 수 있는 데이터를 기반으로 하므로, 항상 책임감 있는 언어를 사용하도록 미세 조정하기가 어려울 수 있습니다. 보고서에 따르면 ChatGPT의 답변은 이름, 성별, 인종에 따라 편향되어 있습니다. 이 문제를 해결하기 위해 OpenAI 내부 팀은 1인칭 공정성 테스트를 진행했습니다.

이름에는 문화적, 지리적 요인에 관한 미묘한 단서가 담기는 경우가 많습니다. 대부분의 경우 ChatGPT는 이름에 담긴 미묘한 단서를 무시합니다. 하지만 일부 경우에는 인종이나 문화를 반영하는 이름에 따라 ChatGPT의 응답이 달라지며, 이러한 응답의 약 1%에는 유해한 표현이 포함됩니다. 언어 모델에서 편향과 유해한 표현을 제거하는 일은 어렵습니다. 하지만 이러한 결과를 공개적으로 공유하고 모델의 한계를 인정함으로써 OpenAI는 사용자가 프롬프트를 개선해 더 중립적이고 편향되지 않은 답변을 얻도록 돕습니다.

그림 6. 사용자 이름에 따라 응답이 달라지는 예시.

ChatGPT 검색 이해하기#

ChatGPT가 처음 출시되었을 때 AI 커뮤니티에서는 ChatGPT가 기존 웹 브라우징을 대체할 수 있을지에 대한 논의가 있었습니다. 현재 많은 사용자가 Google 검색 대신 ChatGPT를 사용하고 있습니다.

OpenAI의 새로운 업데이트인 검색 기능은 한 단계 더 나아갑니다. 검색 기능을 사용하면 ChatGPT가 최신 응답을 생성하고 관련 출처 링크를 포함합니다. 10월 31일 기준으로 검색 기능은 모든 ChatGPT Plus 및 Team 사용자에게 제공되어 ChatGPT를 AI 기반 검색 엔진처럼 사용할 수 있습니다.

그림 7. ChatGPT의 새로운 검색 기능 사용 예시.

앞으로의 전망#

ChatGPT의 최근 업데이트는 AI를 더욱 유용하고 유연하며 공정하게 만드는 데 중점을 둡니다. 새로운 Canvas 기능은 사용자가 더 효율적으로 작업하도록 지원하고, 비전 파인튜닝을 통해 개발자는 시각적 작업을 더 잘 처리하도록 모델을 사용자 지정할 수 있습니다. 공정성 문제를 해결하고 편향을 줄이는 일도 핵심 우선순위로, 누구든 AI를 원활하게 사용할 수 있도록 합니다. 모델을 파인튜닝하는 개발자든 최신 기능을 사용하는 사용자든 ChatGPT는 다양한 요구에 부응하도록 발전하고 있습니다. 실시간 기능, 시각적 통합, 책임감 있는 사용에 중점을 둔 이번 업데이트는 모두에게 더욱 신뢰할 수 있고 안정적인 AI 경험을 제공하는 기반이 됩니다.

GitHub 저장소를 방문하고 커뮤니티에 참여해 AI에 대해 더 알아보세요. 자율주행 및 헬스케어 분야의 AI 애플리케이션에 대해서도 자세히 알아보세요.