GPT-4

GPT-4は、OpenAIのGPT（生成事前学習Transformer）シリーズの4番目のモデルです。2023年3月14日に公開された大規模なマルチモーダルモデルで、入力として画像とテキストを受け取り、テキストを生成します。模擬司法試験では受験者の上位約10%に相当するスコアを獲得しましたが、GPT-3.5は下位約10%に相当していました。また、ChatGPT PlusとMicrosoftのBing Chatの基盤モデルとなりました。GPT-4テクニカルレポートでは、競争上の理由と安全性への懸念から、アーキテクチャ、モデルサイズ、ハードウェア、学習計算量、データセット構築の詳細が非公開となっており、GPT-4のパラメーター数は公表されていません。

性能とベンチマーク#

GPT-4は、知識のMMLUベンチマークで86.4%を記録し、GPT-3.5の70.0%を上回りました。OpenAIがMMLUを26言語に翻訳したところ、GPT-4はそのうち24言語で、従来モデルの英語スコアを上回りました。初回リリースではコンテキストウィンドウが8,192個のトークンで、32,768トークン版もありました。GPT-3.5は4,096トークンでした。またOpenAIは、計算量がGPT-4の1/1,000以下のモデルを使い、学習完了前にGPT-4の性能の一部を予測できたと報告しました。これはスケーリング則の応用です。

このモデルもハルシネーションを起こします。OpenAI社内の敵対的事実性評価では、GPT-3.5を19ポイント上回りましたが、事前学習データは2021年9月までの情報であり、それ以降の出来事は知りません。また、能力には偏りがありました。2023年にボストン・コンサルティング・グループのコンサルタント758人を対象に実施した実地実験では、能力の範囲内のタスクでGPT-4が成果物の質を向上させた一方、その範囲をわずかに外れるタスクでは精度を低下させました。この現象はギザギザした知能と呼ばれます。

学習とアライメント#

GPT-4は公開データとライセンス取得済みデータを使って次のトークンを予測するよう事前学習され、その後、人間のフィードバックによる強化学習（RLHF）でファインチューニングされました。OpenAIはリリース前に6か月をかけてモデルを調整し、AIレッドチーミングの一形態である敵対的テストに50人を超える専門家を起用しました。人間の選好ランキングで学習した通常の報酬モデルに加えて、ルールベースの報酬モデルも導入しました。これは、各応答を人間が作成した評価基準に照らして採点するゼロショットGPT-4分類器であり、有害なリクエストへの拒否と、安全であることが分かっているリクエストへの回答に報酬を与えます。

GPT-3.5と比べて、禁止コンテンツのリクエストに応じる頻度は82%低下し、医療アドバイスなどのセンシティブなリクエストに関するOpenAIのポリシーに従う頻度は29%上昇しました。

画像入力#

GPT-4はグラフ、スクリーンショット、手書きのメモ、写真を読み取ることができ、ローンチ時のデモでは手描きのWebサイトのスケッチを動作するHTMLに変換しました。画像入力はまずBe My Eyesを通じて提供されました。Be My EyesのBe My AI機能は、視覚障害のあるユーザーや弱視のユーザーに周囲の状況を説明します。画像入力は2023年9月にGPT-4VとしてChatGPTに導入されました。GPT-4 with visionは視覚言語モデル（VLM）であり、LLaVAなどのオープンVLMは、テキストのみのGPT-4を使って視覚指示チューニング用の学習会話を作成しました。

GPT-4はテキストで回答し、正確なバウンディングボックスの描画など、精密な空間位置特定が必要なタスクを苦手とするため、コンピュータービジョンのパイプラインでは専用の物体検出モデルと組み合わせます。Ultralytics LLMインターフェースを使えば、両方を1つのスクリプトにまとめられます。YOLO26がフレーム内の物体を検出して位置を特定し、検出結果に説明文が必要な場合は、インターフェースのimage引数によって、そのフレームとプロンプトがOpenAI互換のビジョンモデルに送られます。GPT-6.1 SolやGPT-6 Astraなどの後続のOpenAIモデルは、それ自体でバウンディングボックスを返すことができます。VLM Leaderboardでは、これらのモデルや他の視覚言語モデルが実世界のデータセットでどれほど正確に物体を検出するかを測定します。

後継モデルと関連モデル#

2020年にリリースされたGPT-3は、パラメーター数1,750億、コンテキスト長2,048トークンのテキスト専用モデルでした。2023年11月に発表されたGPT-4 Turboは、価格を引き下げながらコンテキスト長を128,000トークンに拡大しました。2024年5月にリリースされたGPT-4oは、テキスト、音声、画像を1つのネットワークで処理し、最短232ミリ秒で音声に応答しました。また、GPT-4.1は2025年4月にAPIで100万トークンのコンテキスト長を実現しました。o1などの推論モデルは別の方向に進み、回答前に長い思考の連鎖を出力するよう強化学習で学習されました。GPT-5は2025年8月に、高速モデルと推論モデルをルーターの背後で統合しました。

OpenAIは2025年4月30日にChatGPTでGPT-4をGPT-4oに置き換え、廃止スケジュールではgpt-4とgpt-4-turboのAPI提供終了日を2026年10月23日と定め、推奨される代替としてgpt-5.6-solを挙げました。