AIの可能性を示すOpenAIのGPT-4o

2024年5月13日（月）、OpenAIは新しい主力モデルGPT-4oのリリースを発表しました。「o」は「omni」を表します。GPT-4oは、リアルタイムのテキスト、音声、ビジョンによる対話を実現する高度なマルチモーダルAIモデルで、処理の高速化、多言語対応、安全性の強化を実現しています。

新たな生成AI機能をもたらします。ChatGPTの対話能力を基盤とするGPT-4oの機能は、人々がAIをどのように捉えるかにおいて、大きな前進を示しています。GPT-4oと、まるで実在する人と話すように会話できるようになりました。GPT-4oに何ができるのか見てみましょう！

GPT-4oを知る#

OpenAIの春のアップデートでは、GPT-4oはGPT-4と同等の知能を持ちながら、データをより高速に処理し、テキスト、ビジョン、音声をより適切に扱えることが明らかになりました。モデルの知能向上に重点を置いた従来のリリースとは異なり、今回のリリースでは、一般の人々がAIをより簡単に使えるようにする必要性が考慮されています。

図1. OpenAIの春のアップデート

昨年末にリリースされたChatGPTの音声モードでは、音声入力を文字起こしするモデル、内容を理解して文章で返答を生成するモデル、その返答をユーザーが聞けるよう音声に変換するモデルという、3つの異なるモデルが連携していました。このモードではレイテンシの問題があり、自然な会話とは感じられませんでした。GPT-4oはテキスト、ビジョン、音声を一度にネイティブ処理するため、ユーザーは自然な会話に参加しているように感じられます。

また、音声モードとは異なり、GPT-4oが話している途中で割り込むこともでき、人間のように反応します。いったん話を止めて耳を傾け、話した内容に基づいてリアルタイムで返答します。音声で感情を表現したり、ユーザーの口調を理解したりすることもできます。

GPT-4oの注目すべき機能#

GPT-4oのモデル評価から、その高度さがよく分かります。特に興味深い結果の一つは、GPT-4oがすべての言語、とりわけ使用頻度の低い言語において、Whisper-v3と比べて音声認識を大幅に改善していることです。

音声ASR（自動音声認識）の性能は、モデルが話し言葉をどれだけ正確にテキスト化できるかを測定します。GPT-4oの性能は単語誤り率（WER）で評価されます。これは、誤って文字起こしされた単語の割合を示すもので、WERが低いほど品質が高いことを意味します。以下のグラフは、さまざまな地域でGPT-4oのWERが低いことを示し、リソースの少ない言語の音声認識改善に効果があることを示しています。

図2. GPT-4oは複数の言語で優れた音声認識性能を発揮します。

GPT-4oのその他の特徴をいくつかご紹介します。

• 高速化 - GPT-4 Turboの2倍の速度です。音声入力にはわずか232ミリ秒で応答でき、人間同士の会話における応答時間に匹敵します。
• 低コスト - GPT-4oのAPI版はGPT-4 Turboより50%低価格です。
• 記憶 - GPT-4oは、異なる会話をまたいで状況を把握できます。別々のチャットで話した内容を覚えておくことができます。
• 多言語対応 - GPT-4oは、50の異なる言語で速度と品質が向上するように学習されています。

GPT-4oでできることの例#

スマートフォンでGPT-4oを起動し、カメラをオンにして、友人に尋ねるように、表情から気分を推測するようGPT-4oに頼むことができます。GPT-4oはカメラを通してユーザーを見て、回答します。

図3. 動画を通じて人の気分を理解するGPT-4o。

動画を通じて書いているものをGPT-4oに見せれば、数学の問題を解くのにも役立ちます。また、画面を共有すると、以下に示すように、Khan Academyの便利なチューターとして、幾何学の三角形のさまざまな部分を指し示すよう促してくれます。

図4. Khan Academyでチューターとして機能するGPT-4o。

子どもの算数を手伝うだけでなく、開発者はGPT-4oと会話しながらコードをデバッグできます。これは、ChatGPTがデスクトップアプリとして登場したことで可能になりました。デスクトップ版GPT-4oの音声アプリとの会話中にCtrl+Cでコードを選択してコピーすると、アプリがコードを読み取れるようになります。また、異なる言語を話す開発者同士の会話を翻訳するためにも利用できます。

活用方法は多岐にわたります。OpenAIによる特に興味深いデモの一つでは、2台のスマートフォンを使い、GPT-4oが異なるインスタンスの自分自身と会話し、一緒に歌う様子を紹介しました。

図5. AIと会話し、一緒に歌うAI。

GPT-4oの活用例#

デモで示されたように、GPT-4oは視覚障害のある人にとって、世界をより利用しやすくできます。より安全かつ自立して周囲とやり取りし、移動するための支援が可能です。たとえば、ユーザーは動画を撮影し、通りの様子をGPT-4oに見せることができます。GPT-4oは、障害物の識別、道路標識の読み取り、特定の場所への案内など、周囲の状況をリアルタイムで説明できます。タクシーが近づいてきたときに知らせることで、タクシーを呼ぶのを手伝うこともできます。

図6. タクシーが近づいていることを知らせるGPT-4o。

GPT-4oはさまざまな業界でも活用できます。小売業では、リアルタイムのサポートを提供し、問い合わせに答え、オンラインと実店舗の両方で顧客の商品探しを支援することで、カスタマーサービスを改善できます。商品棚を見ていて、探している商品を見つけられない場合を考えてみてください。GPT-4oが商品探しを手伝います。

医療では、患者データの分析、症状に基づく疾患の候補提示、治療法に関する案内を通じて、GPT-4oが診断を支援できます。また、患者記録の要約、医学文献への迅速なアクセス、異なる言語を話す患者とのコミュニケーションに役立つリアルタイム翻訳などにより、医療従事者を支援することもできます。これらはほんの一例です。GPT-4oの活用により、状況に応じた個別支援を提供し、情報やコミュニケーションの障壁を取り除くことで、日常生活がより便利になります。

GPT-4oとモデルの安全性#

数億人の生活に影響を与えてきた従来のGPTモデルと同様に、GPT-4oも世界中でリアルタイムの音声や動画を用いてやり取りする可能性が高く、アプリケーションにおける安全性が極めて重要になります。OpenAIは、潜在的なリスクの軽減に重点を置いてGPT-4oを構築するため、細心の注意を払ってきました。

安全性と信頼性を確保するため、OpenAIは厳格な安全対策を実施しています。学習データのフィルタリング、学習後のモデルの動作調整、音声出力を管理する新たな安全システムの導入などが含まれます。さらに、社会心理学、バイアスと公平性、誤情報などの分野で70人を超える外部専門家がGPT-4oを徹底的にテストしました。外部テストにより、新機能によって生じたり増幅されたりするリスクを特定し、対処できるようにしています。

高い安全基準を維持するため、OpenAIは今後数週間にわたってGPT-4oの機能を段階的にリリースします。段階的な展開により、OpenAIはパフォーマンスを監視し、問題に対処し、ユーザーからのフィードバックを収集できます。慎重に進めることで、最高水準の安全性と倫理的な利用を保ちながら、GPT-4oの高度な機能を提供できます。

GPT-4oを試す#

GPT-4oは無料で利用できます。上記で紹介したリアルタイム会話機能を試すには、Google Play StoreまたはApple App StoreからChatGPTアプリをスマートフォンに直接ダウンロードしてください。

ログイン後、画面右上の3つの点をタップして表示されるリストからGPT-4oを選択できます。GPT-4oが有効なチャットに移動し、画面左下のプラス記号をタップすると、複数の入力オプションが表示されます。画面右下にはヘッドフォンのアイコンがあります。ヘッドフォンのアイコンを選択すると、ハンズフリー版のGPT-4oを利用するかどうかを尋ねられます。同意すると、以下のようにGPT-4oを試せます。

図7. ChatGPTモバイルアプリでGPT-4oを試す。

GPT-4oの高度な機能を独自のプロジェクトに統合したい場合、開発者向けのAPIを利用できます。このAPIを使うと、GPT-4oの強力な音声認識、多言語対応、リアルタイム会話機能をアプリケーションに組み込めます。APIを活用することで、ユーザー体験を向上させ、よりスマートなアプリを構築し、最先端のAI技術をさまざまな分野に導入できます。

GPT-4o：まだ人間には及びません#

GPT-4oは従来のAIモデルよりはるかに高度ですが、独自の制約があることも忘れてはなりません。OpenAIによると、会話中に英語からフランス語へ切り替わるなど、予期せず言語が変わることがあります。また、GPT-4oが言語間の翻訳を誤るケースも確認されています。より多くの人がモデルを試すにつれて、GPT-4oが得意な分野と、さらなる改善が必要な分野が明らかになるでしょう。物体検出などのビジョンタスクでは、GPT-6.1 SolやGPT-6 Astraなどの新しいOpenAIモデルが、VLM Leaderboardで他の視覚言語モデルと比較されています。

要点#

OpenAIのGPT-4oは、高度なテキスト、ビジョン、音声処理によってAIの新たな可能性を切り開き、自然で人間らしいインタラクションを実現します。速度、コスト効率、多言語サポートに優れています。GPT-4oは、教育、アクセシビリティ、リアルタイム支援に活用できる汎用性の高いツールです。ユーザーがGPT-4oの機能を試す中で、フィードバックがその進化を後押しします。GPT-4oは、AIが私たちの日常生活の一部になりつつあることを示しています。

GitHubリポジトリをご覧になり、コミュニティに参加してAIについて詳しく学びましょう。ソリューションページでは、AIが製造業や農業などの業界をどのように変革しているかをご覧いただけます。