OpenAIの最新アップデート：Canvas、ビジョンのファインチューニングなど

9月に、推論能力の向上を目的としたOpenAIのo1モデルを取り上げて以来、ChatGPTには多くの新機能が追加されました。開発者向けのリリースもあれば、ユーザー体験の改善を目的としたものもあります。全体として、それぞれのアップグレードによってChatGPTとのやり取りがより直感的かつ効果的になっています。

共同での執筆やコーディングを目的に設計されたCanvasや、ChatGPTの画像処理を改善するビジョン機能向けのファインチューニングなどのアップデートが大きな関心を集め、ユーザーがより創造的な可能性を探るきっかけとなりました。一方、新しいAPIや公平性テストのレポートなどの技術的なアップグレードは、モデル統合や倫理的なAIの実践といった側面に対応しています。OpenAIのChatGPTの最新機能を詳しく見ていきましょう。

OpenAIのCanvas機能の概要#

Canvasは、ChatGPTのリリース以来初となる大規模なユーザーインターフェース（UI）のアップデートです。左側のサイドバーにプロンプト、右側のウィンドウに応答を表示する、2画面構成の新しいインターフェースです。この新しいUIでは、従来のチャット形式の単一画面ワークフローを見直し、生産性を高めるマルチタスクに適した2画面レイアウトを採用しています。

図1. CanvasによるChatGPTのUI更新。

Canvasが導入される前は、ChatGPTで長文のドキュメントを扱う際に、何度も上下にスクロールする必要がありました。新しいレイアウトでは、プロンプトが左側のサイドバーに表示され、テキストドキュメントやコードスニペットが画面の大部分を占めます。必要であれば、左側のサイドバーや出力画面のサイズも調整できます。また、ドキュメント全体を変更せずに、テキストの一部やコードの特定箇所を選択して編集できます。

図2. Canvasを使ってテキストの特定の部分を編集。

Canvasを使う場合、ChatGPTのインターフェイスにはCanvasを開くための専用ボタンや切り替えスイッチがないことに気づくでしょう。代わりに、GPT-4oモデルで作業していて、編集、執筆、コーディングをしていると判断されると、Canvasが自動的に開きます。より簡単なプロンプトではCanvasは起動しません。手動で開く場合は、「Canvasを開いて」や「Canvasのレイアウトを表示して」などのプロンプトを使えます。

現在、Canvasはベータ版で、GPT-4oでのみ利用できます。ただし、OpenAIはベータ版終了後、すべての無料ユーザーがCanvasを利用できるようになると発表しています。

ChatGPTのAPIアップデート#

OpenAIは、効率性、スケーラビリティ、汎用性の向上を目的とした、ChatGPT APIの新しいアップデートを3つリリースしました。それぞれのアップデートを詳しく見ていきましょう。

モデルの蒸留#

OpenAI APIのモデル蒸留機能を使うと、開発者はGPT-4oやo1-previewなどの高度なモデルの出力を利用して、GPT-4o miniなどの小型でコスト効率の高いモデルの性能を向上させられます。モデル蒸留とは、小型モデルをトレーニングして、より高度なモデルの挙動を模倣させるプロセスです。これにより、小型モデルを特定のタスク向けに効率化できます。

この機能が導入される前は、開発者はさまざまなツールを使って複数の作業を手動で調整する必要がありました。作業には、データセットの生成、モデル性能の測定、モデルのファインチューニングなどが含まれ、プロセスが複雑になり、エラーも発生しやすくなっていました。モデル蒸留のアップデートでは、開発者がStored Completionsを使えるようになりました。このツールは、APIを通じて高度なモデルが生成した入出力ペアを取得して保存し、データセットを自動生成します。

モデル蒸留のもう1つの機能であるEvals（現在ベータ版）は、独自の評価スクリプトを作成したり、別のツールを使ったりせずに、特定のタスクでモデルがどの程度の性能を発揮するかを測定できます。Stored Completionsで生成したデータセットを使い、Evalsで性能を評価することで、開発者は独自のカスタムGPTモデルをファインチューニングできます。

図3. Evalsを使ってモデルのパフォーマンスを測定できます。

プロンプトキャッシュ#

AIアプリケーション、特にチャットボットを構築する際には、現在のリクエストを理解するために必要な背景情報や過去の会話履歴といった同じコンテキストが、複数のAPI呼び出しで繰り返し使われることがよくあります。プロンプトキャッシュを使うと、開発者は最近使用した入力トークン（プロンプトを理解して応答を生成するためにモデルが処理するテキストの断片）を再利用でき、コストとレイテンシを削減できます。

10月1日以降、OpenAIはGPT-4o、GPT-4o mini、o1-preview、o1-miniなどのモデルにプロンプトキャッシュを自動適用しています。つまり、開発者がAPIを使って、長いプロンプト（1,024トークン超）を持つモデルとやり取りすると、システムはすでに処理した部分を保存します。

そのため、同じプロンプトや類似のプロンプトが再び使われた場合、該当部分の再計算を省略できます。システムは、以前に処理したプロンプトのうち最も長い部分を自動的にキャッシュします。最初に1,024トークンから始まり、プロンプトが長くなるにつれて128トークン単位で追加されます。

Realtime API#

音声アシスタントの作成では通常、音声をテキストに変換し、テキストを処理してから音声に戻し、応答を再生する必要があります。OpenAIのRealtime APIは、この一連の処理を1回のAPIリクエストで実行することを目指しています。プロセスを簡素化することで、APIはAIとのリアルタイムな会話を可能にします。

たとえば、Realtime APIと連携した音声アシスタントは、ユーザーのリクエストに基づいて注文や情報検索などの特定の操作を実行できます。このAPIによって、音声アシスタントの応答性が高まり、ユーザーのニーズにすばやく適応できるようになります。Realtime APIは10月1日にパブリックベータで利用可能となり、6種類の音声が提供されました。10月30日にはさらに5種類が追加され、利用可能な音声は合計11種類になりました。

図4. Realtime APIを使って新しい言語での会話を練習する例。

ビジョンタスク向けのChatGPTのファインチューニング#

当初、GPT-4oの視覚言語モデルは、テキストのみのデータセットを使ったファインチューニングとカスタマイズにしか対応していませんでした。ビジョンファインチューニングAPIのリリースにより、開発者は画像データセットを使ってGPT-4oをトレーニングし、カスタマイズできるようになりました。リリース以来、ビジョンファインチューニングは開発者やコンピュータービジョンエンジニアの間で大きな関心を集めています。

GPT-4oのビジョン機能をファインチューニングするには、100枚から50,000枚までの画像を含むデータセットを使用できます。データセットがOpenAI指定の形式に準拠していることを確認した後、OpenAIのプラットフォームにアップロードし、特定のアプリケーション向けにモデルをファインチューニングできます。

たとえば、自動化企業のAutomatは、スクリーンショットのデータセットを使ってGPT-4oを学習させ、説明に基づいて画面上のUI要素を識別できるようにしました。これにより、ボットがユーザーインターフェースを操作しやすくなり、ロボティック・プロセス・オートメーション (RPA) を効率化できます。固定座標や複雑なセレクタールールに頼る代わりに、モデルは簡単な説明に基づいてUI要素を識別できるため、自動化の設定をより柔軟にし、インターフェースの変更時にも保守しやすくなります。GPT-6.1 Solなどの新しいOpenAIモデルはファインチューニングなしで物体を検出でき、VLMベンチマークの結果では、実世界のデータセットで他の視覚言語モデルと比較した性能を確認できます。

図5. ファインチューニングしたGPT-4oモデルを使ったUI要素の検出。

ChatGPTの公平性とバイアス検出#

AIの高度化に伴い、AIアプリケーションをめぐる倫理的な懸念が注目を集めています。ChatGPTの応答は、ユーザーが提供するプロンプトとインターネット上のデータに基づくため、常に責任ある表現になるよう言語を調整するのは容易ではありません。ChatGPTの回答は名前、性別、人種に関して偏りがあるという報告があります。この問題に対応するため、OpenAIの社内チームが一人称視点での公平性テストを実施しました。

名前には、文化的背景や地理的要因に関する微妙な手がかりが含まれることがよくあります。多くの場合、ChatGPTは名前に含まれる微妙な手がかりを無視します。しかし、名前が人種や文化を反映している場合、ChatGPTの回答が異なることがあり、その約1%には有害な表現が含まれています。偏見や有害な表現をなくすことは、言語モデルにとって困難な課題です。しかし、調査結果を公開し、モデルの限界を認めることで、OpenAIはユーザーがプロンプトを調整し、より中立で偏りのない回答を得られるよう支援しています。

図6. ユーザーの名前によって応答が異なる例。

ChatGPT検索について#

ChatGPTが初めて公開されたとき、AIコミュニティでは、従来のウェブブラウジングに取って代わる可能性があるかどうかが議論されていました。現在、多くのユーザーがGoogle検索の代わりにChatGPTを利用しています。

OpenAIの新しいアップデートである検索機能は、この動きをさらに進めます。検索機能を使うと、ChatGPTは最新の情報に基づく応答を生成し、関連する情報源へのリンクを含めます。10月31日時点で、検索機能はChatGPT PlusとTeamの全ユーザーが利用でき、ChatGPTはAI搭載の検索エンジンに近い役割を果たすようになっています。

図7. ChatGPTの新しい検索機能の使用例。

今後の展望#

ChatGPTの最近のアップデートは、AIをより便利で柔軟かつ公平にすることに重点を置いています。新しいCanvas機能はユーザーの作業効率を高め、ビジョンファインチューニングにより、開発者は視覚タスクに適したモデルにカスタマイズできます。公平性への対応とバイアスの低減も重要な優先事項であり、ユーザーの属性にかかわらず、AIがすべての人に適切に機能することを目指しています。モデルをファインチューニングする開発者にも、最新機能を利用するユーザーにも、ChatGPTは幅広いニーズに応えるため進化を続けています。リアルタイム機能、視覚情報の統合、責任ある利用への注力を通じて、これらのアップデートはすべての人にとって、より信頼性の高いAI体験を実現します。

GitHubリポジトリをご覧いただき、コミュニティに参加して、AIについてさらに詳しく知りましょう。自動運転や医療におけるAIの活用についてもご紹介しています。