YOLOのライセンス
Ultralytics用語集に戻る

Visual Autoregressive Modeling (VAR)

視覚的自己回帰モデリング(VAR)は、粗い解像度から細かい解像度へ画像を生成し、次の解像度のトークンマップをそれぞれ並列に予測します。トークナイザーとスケーリングについて解説します。

視覚的自己回帰モデリング(VAR)は、画像を一度に1トークンずつ読み取り順に予測するのではなく、単一の1 x 1トークンから完全なグリッドまで、解像度が段階的に上がるトークンマップの列として予測する生成AI手法です。各ステップでは、より粗いすべてのスケールを条件として、次のスケールのトークンをすべて並列に生成するため、256 x 256画像を10ステップで生成できます。北京大学とByteDanceのKeyu Tian氏、Yi Jiang氏、Zehuan Yuan氏、Bingyue Peng氏、Liwei Wang氏は、2024年4月にVARを発表した論文Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Predictionで、NeurIPS 2024の最優秀論文賞を受賞しました。クラス条件付きImageNet 256 x 256画像生成では、自己回帰ベースラインのFréchet Inception Distance(FID)を18.65から1.73に改善し、Inception Scoreを80.4から350.2に向上させながら、推論を約20倍高速化しました。

次のスケールを予測する理由#

VQGANのTransformerやGoogleのPartiなど、以前の自己回帰画像生成モデルは、画像を離散的なトークンのグリッドに変換して行ごとに平坦化し、GPTモデルがテキストを書くのと同じように、トークンを一度に1つずつ予測します。この順序は画像には適していません。各トークンが参照できるのは上と左のトークンだけですが、画像領域はあらゆる方向で互いに依存し、16 x 16のグリッドでは逐次的なステップが256回必要です。次のスケールを予測する方法では、Transformerの学習目標と因果的な順序を保ちつつ、予測単位を1トークンから解像度全体へと変えます。スケール内のトークンは互いを参照でき、各スケールはすべての粗い解像度における完全な画像を参照します。

マルチスケールトークナイザー#

VARのトークナイザーは、潜在表現をマルチスケールベクトル量子化で圧縮するオートエンコーダーです。エンコーダーは256 x 256画像を16 x 16の特徴マップに変換し、1 x 1から16 x 16までの10スケールで量子化します。このとき、4,096エントリーの共有コードブックを1つ使用します。各スケールでは、粗いスケールで説明されなかった残差だけを量子化するため、粗いマップは全体的な色やレイアウトを表し、後続のマップがより細かいディテールを加えます。同じ残差方式を、ランダムなコードブックを使ってダウンサンプリングした写真に適用した例を以下に示します。

import torch
import torch.nn.functional as F
from skimage import data

torch.manual_seed(0)
image = torch.tensor(data.astronaut(), dtype=torch.float32).permute(2, 0, 1)[None] / 255  # 1x3x512x512
features = F.interpolate(image, size=(16, 16), mode="area")  # stand-in for a 16x16 encoder feature map
codebook = torch.rand(4096, 3) * 2 - 1  # one shared codebook of 4,096 entries; residuals can be negative

# Multi-scale residual quantization: each scale encodes what the coarser scales left out
residual, reconstruction = features.clone(), torch.zeros_like(features)
for side in (1, 2, 3, 4, 5, 6, 8, 10, 13, 16):  # VAR's ten token-map sizes for 256 x 256 images
    small = F.interpolate(residual, size=(side, side), mode="area").permute(0, 2, 3, 1).reshape(-1, 3)
    tokens = torch.cdist(small, codebook).argmin(dim=1)  # side x side discrete token map
    quantized = codebook[tokens].reshape(1, side, side, 3).permute(0, 3, 1, 2)
    upsampled = F.interpolate(quantized, size=(16, 16), mode="bicubic")
    reconstruction, residual = reconstruction + upsampled, residual - upsampled
    print(f"{side:>2}x{side:<2} tokens -> reconstruction error {(features - reconstruction).pow(2).mean():.5f}")

再構成誤差は、単一の1 x 1トークンでは0.06267ですが、16 x 16マップでは0.00212に下がります。10スケール全体で使用するトークン数は680です。VARはエンコーダー、デコーダー、コードブックを共同で学習します。認識用の検出モデルも、同じ種類のピラミッドを基盤として構築されています。Ultralytics YOLO26はストライド8、16、32の特徴ピラミッドレベルから物体を予測するため、640ピクセルの画像から80 x 80、40 x 40、20 x 20のマップが生成され、大きな物体は粗いマップ、小さな物体は細かいマップで検出されます。

VARによる画像生成の仕組み#

GPT形式のTransformerは、ブロック単位の因果的なアテンションマスクを使ってトークンマップを順に生成します。このマスクにより、各トークンは自分のスケールと、すべての粗いスケールを参照できます。

著者らは最大20億パラメーターのモデルを学習し、大規模言語モデルと同様のべき乗則のスケーリング則を確認しました。モデルサイズとテスト損失の線形相関係数は約-0.998でした。同じモデルは追加学習なしで、編集領域の外側のトークンを正解値に固定し、残りをサンプリングすることで、画像インペインティング、アウトペインティング、クラス条件付き編集をゼロショットで実行できます。

  • Infinity:ByteDanceが2024年12月に公開したテキストから画像生成の後継モデルです。4,096エントリーのコードブックを、事実上無制限の語彙を持つトークナイザーのビット単位トークンに置き換えます。1024 x 1024画像を0.8秒で生成し、Stable Diffusion 3 Mediumより2.6倍高速です。GenEvalスコアも、SD3 Mediumの0.62から0.73に向上しました。
  • 拡散Transformer(DiT): 多数のステップにわたって連続潜在表現をノイズ除去します。VARの論文では、画像品質、推論速度、データ効率、スケーラビリティのすべてでDiTを上回ったと報告されています。
  • 拡散モデル: ガウスノイズから始め、各ステップで画像のすべてのピクセルまたは潜在表現を洗練します。
  • マスク付き生成Transformer: GoogleのMaskGITは、単一解像度のグリッドにあるマスク付きトークンをすべて並列に予測し、約8~12回の反復で最も確信度の高いトークンを残します。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう