Text-to-Image

テキストから画像を生成するタスクでは、プロンプトと呼ばれる自然言語の説明から新しい画像を作成します。テキスト画像生成モデルは、数億から数十億組の画像とキャプションのペアから、単語と視覚コンテンツの関係を学習します。その後、「夕日にレンガの壁にもたれかかる赤い自転車」のようなプロンプトを、これまで存在しなかった画像に変換します。これは生成AIの主要な用途であり、自然言語処理 (NLP)とコンピュータービジョンを組み合わせます。Stable Diffusion、FLUX、GoogleのImagenなど、現在のシステムの大半は拡散モデルまたはフローモデルです。一方、OpenAIが2025年にGPT-4oに組み込んだ画像生成機能などは、トークン列として自己回帰的に画像を生成します。

テキストから画像を生成するモデルの仕組み#

最初にテキストエンコーダーがプロンプトを埋め込みに変換します。初期のStable DiffusionはOpenAIのCLIPテキストエンコーダーを使用していました。GoogleのImagenは、言語エンコーダーを固定したままT5-XXLモデルまで大規模化すると、画像生成器を大規模化するよりも画像の品質と画像・テキスト間の対応が大幅に改善することを示しました。次に生成器はランダムノイズから開始し、通常は潜在拡散モデルの圧縮空間で20〜50ステップかけてノイズを除去します。クロスアテンションまたは共同アテンション層を使うことで、画像の各部分がプロンプトに注意を向けられます。Classifier-free guidanceは、プロンプトがある場合とない場合のモデル予測を比較し、その差を増幅します。そのため、ガイダンススケールを高くすると多様性が下がる代わりに、プロンプトにより忠実になります。最後にデコーダーが完成した潜在表現をピクセルに変換します。

学習データは、モデルが描けるものを左右します。Stable Diffusionは、Webから収集された58億組の画像とテキストを含むLAION-5Bのサブセットで学習しました。OpenAIのDALL-E 3は、ほとんどのWeb画像に付随する短い代替テキストではなく、詳細な合成キャプションで学習することで、プロンプトへの追従性を高めました。Web規模のデータには問題もあります。Stanford Internet Observatoryの報告で児童性的虐待素材へのリンクが含まれていることが判明したため、LAIONは2023年12月にLAION-5Bを取り下げ、2024年8月にクリーンアップ済みのRe-LAION-5Bを公開しました。

モデルの系統#

• 拡散モデルとフローモデル: 画像または潜在表現のノイズを複数のステップで除去します。この系統にはDALL-E 2と3、Imagen、Stable Diffusion、FLUXが含まれます。新しいモデルではU-Netノイズ除去器を、整流フローで学習した拡散Transformerに置き換えています。
• 自己回帰モデル: 画像を離散トークンに変換し、Transformerで1つずつ予測します。これは2021年の初代DALL-EやGoogleのPartiが採用した方法です。OpenAIは2025年3月に公開したGPT-4oの画像生成について、拡散ベースのDALL-Eとは異なり、ChatGPTにネイティブに組み込まれた自己回帰モデルと説明しています。
• 敵対的生成ネットワーク: 1回のフォワードパスで画像を生成します。AttnGANのようなテキスト条件付きGANは拡散モデルより前に登場しました。サンプリングは高速ですが、複雑なプロンプトへの追従性は劣ります。

生成画像の評価#

Fréchet Inception Distance（FID）は生成画像と実画像の統計を比較し、品質と多様性を測定します。CLIPスコアは、共有埋め込み空間で画像がプロンプトにどの程度一致するかを測定します。どちらも、物体の数や位置といった具体的な内容は確認しません。そのためGenEvalでは、生成画像に物体検出モデルを適用して物体の共起、位置、数を確認し、さらに他のビジョンモデルで色も確認します。公開アリーナでは、商用モデルとオープンモデルを対象に数万件の人間によるペア比較投票を集め、美的品質とプロンプトへの追従性を併せて評価します。

テキストから画像への生成と関連用語の比較#

• 画像キャプション生成: その逆方向のタスクで、既存の画像の説明文を生成します。
• テキストから動画への生成: 時系列で一貫性を保つ必要のあるフレーム列を生成するため、テキストから画像へのモデルよりも多くの計算資源とデータが必要になります。
• 画像のインペインティングと画像から画像への変換: 既存の画像を起点に、追加の画像入力と同じモデルを使って、プロンプトに沿って画像の一部または全体を変更します。
• 視覚言語モデル: 画像とテキストを読み取り、テキストで回答します。GPT-4oやGeminiなどのネイティブマルチモーダルモデルは、画像理解に加えて画像生成にも対応しています。

用途とリスク#

デザイナー、ゲームスタジオ、マーケティングチームは、テキストから画像を生成するモデルを使ってコンセプトの検討や製品画像の作成を行います。また、ビジョンチームは、撮影が難しい希少クラス、欠陥、条件向けの合成データを作成するために活用します。Ultralytics Platformの類似画像を生成アクションでは、データセット内の画像を基に新しいシーンを説明し、説明ごとに1枚の画像を生成します。照明、視点、背景、物体に関する指示を追加することもできます。ユーザーが保持した画像はラベルなしでデータセットに追加され、アノテーションできる状態になります。合成画像が役立つのは、モデルに不足しているものを補う場合に限られます。

同じリアリティはリスクも生みます。モデルは学習データのバイアスを再現し、説得力のあるディープフェイクを生成することがあります。提供元は、GoogleのSynthIDなどのAIウォーターマーキングや、画像を作成または編集したツールを記録する署名付きメタデータであるC2PAコンテンツクレデンシャルで対応しています。