OpenAIの最新アップデート：Canvas、ビジョン・ファインチューニングなど

9月にOpenAIのo1モデル（推論能力の向上を目的として設計されたもの）を取り上げて以来、ChatGPTには多くのエキサイティングな新機能が追加されました。これらのリリースの一部は開発者向けであり、その他はユーザー体験を向上させるために設計されています。総じて、それぞれのアップデートにより、ChatGPTとのインタラクションがより直感的で効果的なものになっています。

共同での執筆やコーディング向けに設計されたCanvasや、ChatGPTの画像処理能力を向上させるビジョン機能のファインチューニングなどのアップデートは、大きな関心を集め、ユーザーがよりクリエイティブな可能性を追求することを後押ししています。一方、新しいAPIや公平性テストレポートといった技術的なアップデートは、モデルの統合や倫理的なAIの実践などの側面に対応しています。それでは、OpenAIによる最新のChatGPTの機能について詳しく見ていきましょう。

OpenAIのCanvas機能の概要#

Canvasは、ChatGPTのリリース以来初となるユーザーインターフェース（UI）の主要なアップデートです。これは、左側のサイドバーにプロンプトを表示し、右側のウィンドウに応答を表示する2画面構成の新しいインターフェースです。この新しいUIは、従来のチャット形式の1画面構造というワークフローを排除し、生産性を高めるためのマルチタスクに適した2画面レイアウトを採用しています。

図1 CanvasによりChatGPTにUIのアップデートがもたらされます。

Canvasが導入される前は、ChatGPTで長文のドキュメントを扱う際、上下にかなりスクロールする必要がありました。新しいレイアウトでは、プロンプトが左サイドバーに表示され、テキストドキュメントやコードスニペットが画面の大部分を占有します。必要に応じて、左サイドバーや出力画面のサイズをカスタマイズすることも可能です。また、テキストの一部またはコードのセクションを選択して、ドキュメント全体を変更することなく特定のセクションを編集できます。

図2. Canvasを使用してテキストの特定のセクションを編集する。

Canvasを使用する場合、ChatGPTのインターフェース上にそれを開くための特定のボタンやトグルがないことに気付くでしょう。代わりに、GPT-4oモデルを使用しているときに、編集、執筆、またはコーディングを行っていると判断されると、Canvasが自動的に開きます。シンプルなプロンプトの場合、非アクティブのままになります。手動で開きたい場合は、「Canvasを開いて」や「Canvasレイアウトを表示して」といったプロンプトを使用できます。

現在、Canvasはベータ版であり、GPT-4oでのみ利用可能です。しかし、OpenAIはベータ期間が終了すればすべての無料ユーザーがCanvasを利用できるようになると述べています。

ChatGPTのAPIアップデート#

OpenAIは、効率性、スケーラビリティ、多用途性の向上を目的とした3つの新しいChatGPT APIアップデートをリリースしました。それぞれのアップデートを詳しく見ていきましょう。

モデル蒸留#

OpenAI APIを通じたモデル蒸留機能を使用することで、開発者はGPT-4oやo1-previewのような高度なモデルの出力を利用して、GPT-4o miniのような、より小さくコスト効率の高いモデルのパフォーマンスを向上させることができます。モデル蒸留は、より高度なモデルの挙動を模倣するように小型モデルをトレーニングし、特定のタスクにおいてそれらをより効率的にするプロセスです。

この機能が導入される前は、開発者はさまざまなツールを使用して手動でさまざまなタスクを調整する必要がありました。これらのタスクには、データセットの生成、モデルのパフォーマンスの測定、モデルのファインチューニングが含まれており、多くの場合、プロセスが複雑でエラーが発生しやすくなっていました。モデル蒸留のアップデートにより、開発者はStored Completionsを利用できるようになりました。これは、APIを通じて高度なモデルによって生成された入出力ペアをキャプチャして保存し、データセットを自動的に生成できるようにするツールです。

モデル蒸留のもう一つの機能であるEvals（現在ベータ版）は、カスタムの評価スクリプトを作成したり別個のツールを使用したりすることなく、特定のタスクにおけるモデルのパフォーマンスを測定するのに役立ちます。Stored Completionsで生成されたデータセットを使用し、Evalsでパフォーマンスを評価することで、開発者は独自のカスタムGPTモデルをファインチューニングできます。

図3 Evalsを使用してモデルのパフォーマンスを測定できます。

プロンプトキャッシュ#

AIアプリケーション、特にチャットボットを構築する際、現在のリクエストを理解するために必要な同じコンテキスト（背景情報や過去の会話履歴）が複数のAPI呼び出しで繰り返し使用されることがよくあります。プロンプトキャッシングにより、開発者は最近使用した入力トークン（モデルがプロンプトを理解し応答を生成するために処理するテキストのセグメント）を再利用できるようになり、コストとレイテンシの削減につながります。

10月1日より、OpenAIはGPT-4o、GPT-4o mini、o1-preview、o1-miniなどのモデルにプロンプトキャッシングを自動的に適用しています。これは、開発者がAPIを使用して長いプロンプト（1,024トークン超）を持つモデルとやり取りする際、システムがすでに処理した部分を保存することを意味します。

このように、同じまたは類似したプロンプトが再度使用された場合、それらの部分の再計算をスキップできます。システムは、プロンプトの以前に出会った最も長い部分を自動的にキャッシュします。開始は1,024トークンで、プロンプトが長くなるにつれて128トークンのチャンク単位で追加されていきます。

Realtime API#

音声アシスタントの作成には通常、音声をテキストに文字起こしし、テキストを処理した上で、応答を再生するために再び音声に変換することが求められます。OpenAIのRealtime APIは、このプロセス全体を単一のAPIリクエストで処理することを目指しています。プロセスを簡素化することにより、このAPIはAIとのリアルタイムな会話を可能にします。

例えば、Realtime APIと統合された音声アシスタントは、ユーザーのリクエストに基づいて、注文の実行や情報の検索といった特定のアクションを実行できます。このAPIにより、音声アシスタントの応答性が高まり、ユーザーのニーズに素早く適応できるようになります。Realtime APIは10月1日にパブリックベータ版として6種類の音声で提供が開始され、10月30日にはさらに5種類の音声が追加され、利用可能な音声は合計11種類になりました。

図4 Realtime APIを使用して新しい言語の会話を練習する例。

ChatGPTのビジョンタスク向けファインチューニング#

当初、GPT-4oビジョン言語モデルは、テキストのみのデータセットを使用してのみファインチューニングやカスタマイズが可能でした。現在、ビジョンファインチューニングAPIのリリースにより、開発者は画像データセットを使用してGPT-4oをトレーニングおよびカスタマイズできるようになりました。リリース以来、ビジョンファインチューニングは開発者やコンピュータビジョンエンジニアの間で大きな関心を集めるトピックとなっています。

GPT-4oのビジョン能力をファインチューニングするために、開発者は100枚から最大50,000枚までの画像データセットを使用できます。データセットがOpenAIの要求するフォーマットに一致することを確認した後、OpenAIプラットフォームにアップロードし、特定のアプリケーションに合わせてモデルをファインチューニングできます。

例えば、自動化企業であるAutomatは、スクリーンショットのデータセットを使用してGPT-4oをトレーニングし、説明に基づいて画面上のUI要素を識別できるようにしました。これにより、ボットがユーザーインターフェースと対話することが容易になり、ロボティック・プロセス・オートメーション（RPA）の効率化が図れます。固定された座標や複雑なセレクタールールに依存する代わりに、モデルはシンプルな説明に基づいてUI要素を識別できるため、インターフェースが変更された際にも自動化のセットアップがより適応しやすく、保守が容易になります。

図5 ファインチューニングされたGPT-4oモデルを使用してUI要素を検出する例。

ChatGPTの公平性とバイアス検出#

AIアプリケーションを取り巻く倫理的な懸念は、AIがますます高度化するにつれて、重要な議論のトピックとなっています。ChatGPTの応答はユーザーが提供したプロンプトやインターネット上のデータに基づいているため、常に責任ある言語になるようにファインチューニングすることは困難な場合があります。報告によると、ChatGPTの回答には偏見があるとされています。この問題に対処するため、OpenAIの社内チームは一人称による公平性テストを実施しました。

名前にはしばしば、私たちの文化や地理的要因に関する微妙な手がかりが含まれています。ほとんどの場合、ChatGPTは名前にある微妙な手がかりを無視します。しかし、人種や文化を反映した名前の場合、ChatGPTから異なる応答が返されることがあり、そのうちの約1%は有害な言葉を反映しています。バイアスや有害な言葉を排除することは、言語モデルにとって困難な課題です。しかし、OpenAIはこれらの調査結果を公開し、モデルの制限を認めることで、ユーザーがより中立的で偏りのない回答を得るためにプロンプトを洗練させるのを支援しています。

図6 ユーザーの名前によって応答が異なる例。

ChatGPT検索について#

ChatGPTが最初にローンチされたとき、AIコミュニティでは、それが従来のWebブラウジングに取って代わることができるかどうかについての議論がありました。現在、多くのユーザーがGoogle検索の代わりにChatGPTを使用しています。

OpenAIの新しいアップデートである検索機能は、これをさらに一歩前進させました。検索機能により、ChatGPTは最新の応答を生成し、関連するソースへのリンクを含めるようになります。10月31日の時点で、検索機能はすべてのChatGPT PlusおよびTeamユーザーが利用可能になり、ChatGPTはAIを活用した検索エンジンのように機能するようになりました。

図7 ChatGPTの新機能である検索機能を使用する例。

今後の展望#

ChatGPTの最近のアップデートは、AIをより便利で柔軟、かつ公正にすることに重点を置いています。新しいCanvas機能はユーザーがより効率的に作業できるようにし、ビジョンファインチューニングにより開発者は視覚的なタスクをより適切に処理できるようにモデルをカスタマイズできます。公平性への対処とバイアスの低減も重要な優先事項であり、誰であってもAIがうまく機能するように保証しています。モデルをファインチューニングしている開発者であろうと、最新の機能を使用しているだけであろうと、ChatGPTは多様なニーズを満たすために進化しています。リアルタイム機能、ビジュアル統合、そして責任ある利用への注力により、これらのアップデートはすべての人にとってより信頼性が高く確実なAI体験を構築しています。

GitHubリポジトリへのアクセスやコミュニティへの参加を通じて、AIについてさらに探索しましょう。自動運転やヘルスケアにおけるAIの応用について詳しく学んでください。