Новый подход к синтезу изображений (NVS)

Процесс генерации новых, ранее невиданных ракурсов 3D-сцены на основе ограниченного набора 2D-изображений представляет собой сложную задачу в области компьютерного зрения (CV). Данная методика в значительной степени опирается на глубокое обучение (DL) для точного анализа лежащей в основе геометрии, освещения, текстур и затенений. Предсказывая, как объекты и окружающая среда должны выглядеть с нефиксированных ракурсов, эта технология устраняет разрыв между 2D-изображением и иммерсивным представлением 3D-сцены.

Развитие и последние достижения

Исторически для генерации новых ракурсов использовались классические методы многоракурсной стереоскопии и традиционные методы фотограмметрии, которые часто сталкивались с сложными условиями освещения и отражающими поверхностями. Сегодня в этой области доминирует нейронный рендеринг. Важно отличать это широкое понятие от конкретных архитектурных реализаций, таких как Neural Radiance Fields (NeRF) и Gaussian Splatting. Хотя эти термины относятся к конкретным математическим и структурным методам рендеринга сцен, общая цель, которую они решают, — это генерация новых ракурсов.

Благодаря недавним прорывам в 2024 и 2025 годах генеративные диффузионные модели были напрямую интегрированы в конвейер синтеза. Эти новые архитектуры обеспечивают возможности обучения без предварительного обучения (zero-shot), позволяя моделям генерировать правдоподобные недостающие детали непосредственно в пиксельном пространстве без необходимости явного воссоздания 3D-сетки. Это сокращает вычислительные затраты, традиционно связанные с рендерингом компьютерной графики, и ускоряет создание фотореалистичных результатов.

Применение в реальном мире

Способность выявлять новые точки зрения имеет огромное значение для целого ряда отраслей:

• Иммерсивные медиа: в современных технологиях пространственных вычислений эта технология играет ключевую роль в создании виртуальных сред, доступных для исследования, и интерактивных приложений дополненной реальности на основе всего лишь нескольких обычных фотографий, сделанных на смартфон.
• Электронная коммерция: ритейлеры могут создавать подробные 3D-презентации товаров на основе небольшого набора 2D-изображений, что позволяет покупателям осматривать товары в цифровом формате под любым углом.
• Моделирование и обучение: в сфере автономных транспортных средств и робототехники сбор реальных крайних случаев является опасным и дорогостоящим. Синтезируя новые ракурсы существующих данных об улицах или складах, инженеры могут создавать бесконечное многообразие вариантов сцен. Это служит мощным средством расширения данных, повышая устойчивость последующих моделей искусственного интеллекта (ИИ) для навигации.

Интеграция с Ultralytics

После синтеза новых представлений часто возникает необходимость в их структурном анализе. С помощью Ultralytics разработчики могут легко управлять сбором и аннотированием данных для этих искусственно сгенерированных наборов данных.

Обучая современные модели, такие как Ultralytics , на данных с различных ракурсов, вы можете значительно повысить точность задач по обнаружению объектов, сегментации изображений и оценке позы. Поскольку модель учится распознавать объекты с ранее не зафиксированных ракурсов, полученная модель при внедрении становится значительно более устойчивой в реальных условиях.

Чтобы быстро проанализировать сгенерированное изображение, можно передать его непосредственно в предварительно обученную модель:

import cv2
from ultralytics import YOLO

# Load the highly recommended Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Load a synthesized novel view using the OpenCV library
synthesized_view = cv2.imread("novel_view_render.jpg")

# Perform real-time object detection on the newly generated perspective
results = model(synthesized_view)

# Display the detection results
results[0].show()

Независимо от того, занимаетесь ли вы рендерингом окружающей среды с помощью библиотеки PyTorch3D или ускоряете инференцию на аппаратных средствах, таких как tensor (TPU), синтез и последующий анализ новых представлений остаются в авангарде исследований в области искусственного интеллекта, что постоянно подтверждается последними научными препринтами и мощными облачными кластерами машинного обучения.