Novel View Synthesis (NVS)

限られた数の2D画像から3Dシーンの新しい未公開の視点を生成するプロセスは、computer vision (CV)における高度なタスクです。この技術は、基盤となるジオメトリ、ライティング、テクスチャ、オクルージョンを正確に推論するために、deep learning (DL)に大きく依存しています。オブジェクトや環境が未記録の角度からどのように見えるかを予測することにより、この技術は2Dイメージングと没入型の3D scene representationの間のギャップを埋めます。

進化と最近の進歩#

歴史的に、新しい視点の生成は、古典的なmulti-view stereoや伝統的なphotogrammetry techniquesに依存していましたが、これらは複雑なライティングや反射面に対して苦戦することが多くありました。今日では、ニューラルレンダリングが主流となっています。この広範な概念を、Neural Radiance Fields (NeRF)やGaussian Splattingのような特定のアーキテクチャ実装と区別することが重要です。これらの用語はシーンをレンダリングするための特定の数学的および構造的手法を指しますが、両者が解決する共通の究極の目的は、新しい視点を生成することです。

2024年および2025年の最近の画期的な進歩により、generative diffusion modelsが合成パイプラインに直接統合されました。これらの新しいアーキテクチャにより、zero-shot learning capabilitiesが実現し、明示的な3Dメッシュ再構築を必要とせずに、モデルがピクセル空間上で妥当な欠損詳細を直接ハルシネーションできるようになります。これにより、従来のcomputer graphics renderingに関連する計算オーバーヘッドが削減され、フォトリアルな出力の作成が加速されます。

実社会での応用#

未見の角度を合成する能力は、複数の業界に重大な影響を及ぼします。

• Immersive Media: 現代のspatial computingにおいて、この技術は、わずか数枚の何気ないスマートフォンの写真から、探索可能なvirtual reality environmentsやインタラクティブなaugmented reality applicationsを作成するために不可欠です。
• Eコマース: 小売業者は、少数の2D画像から包括的な3D製品ショーケースを生成できるため、顧客はあらゆる角度からデジタル上で商品を検査できるようになります。
• Simulation and Training: autonomous vehiclesやroboticsにとって、実世界のコーナーケースの収集は危険であり、費用がかかります。既存のストリートデータや倉庫データの新しい視点を合成することにより、エンジニアはシーンの無限のバリエーションを作成できます。これは強力なdata augmentationとして機能し、下流のartificial intelligence (AI)ナビゲーションモデルの堅牢性を向上させます。

Ultralytics ワークフローとの統合#

新しい視点が合成されると、多くの場合、構造解析が必要になります。Ultralytics Platformを使用することで、開発者はこれら人工的に生成されたデータセットのdata collection and annotationをシームレスに管理できます。

Ultralytics YOLO26のような最先端モデルをこれら多様な視点でトレーニングすることにより、object detection、image segmentation、およびpose estimationタスクの精度を飛躍的に向上させることができます。モデルがこれまでキャプチャされていなかった角度からオブジェクトを認識することを学習するため、結果として得られるmodel deploymentは実世界のシナリオにおいて大幅に弾力性が高まります。

合成された視点を迅速に分析するには、レンダリングされた画像を事前トレーニング済みモデルに直接渡すことができます。

import cv2
from ultralytics import YOLO

# Load the highly recommended Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Load a synthesized novel view using the OpenCV library
synthesized_view = cv2.imread("novel_view_render.jpg")

# Perform real-time object detection on the newly generated perspective
results = model(synthesized_view)

# Display the detection results
results[0].show()

PyTorch3D libraryを使用して環境をレンダリングする場合でも、tensor processing units (TPUs)などのハードウェアで推論を高速化する場合でも、新しいビューの合成とそれに続く分析はAI研究の最前線にあり続け、recent academic preprintsや大規模なcloud-based machine learningクラスターによって絶えずサポートされています。