Лицензия YOLO
Назад к глоссарию Ultralytics

3D Reconstruction

3D-реконструкция восстанавливает форму объектов и сцен по фотографиям, видео, данным камер глубины или LiDAR в виде облаков точек, сеток или полей излучения.

3D-реконструкция — это восстановление трёхмерной формы объекта или сцены по таким данным, как фотографии, видео, кадры с камеры глубины или сканы LiDAR. Результат описывает расположение поверхностей в пространстве и может быть представлен облаком точек, то есть выборкой точек на поверхности, полигональной сеткой, воксельной сеткой или обученной функцией, например полем излучения, часто с добавленными цветом или текстурой. Реконструкция по изображениям, также называемая фотограмметрией, — это обратная задача для компьютерного зрения: камера преобразует трёхмерный мир в двумерные пиксели, а реконструкция использует несколько ракурсов одних и тех же поверхностей, чтобы обратить это преобразование.

Как работает реконструкция по изображениям#

Классический конвейер начинается с обнаружения в каждом изображении отличительных признаков, например ключевых точек SIFT, и их сопоставления на перекрывающихся фотографиях. Оставляют только соответствия, согласующиеся с эпиполярной геометрией. Затем метод «структура из движения» восстанавливает положение и ориентацию каждой камеры, а также разреженный набор 3D-точек, и совместно уточняет их методом уравнивания связок, минимизируя ошибку репроекции каждой точки на каждом изображении. Метод многовидового стерео использует известные положения камер для вычисления плотной карты глубины каждого изображения; карты объединяют в одно облако точек, а восстановление поверхности, например построение сетки методом Пуассона, превращает точки в замкнутую сетку, которую можно текстурировать по фотографиям. COLMAP, разработанный Йоханнесом Шёнбергером и его коллегами, — широко используемая реализация этого конвейера с открытым исходным кодом. Камеры глубины и LiDAR позволяют пропустить этап сопоставления и напрямую совмещать перекрывающиеся сканы, обычно с помощью алгоритма итеративного поиска ближайших точек.

Каждая 3D-точка получается триангуляцией: для двух откалиброванных камер это точка, проекции которой лучше всего соответствуют пикселям, в которых её увидела каждая камера. В этом примере триангулируются точки на стене, которую снимают две камеры, расположенные на расстоянии 0,3 м друг от друга. Погрешность каждого наблюдения составляет половину пикселя:

import cv2
import numpy as np

rng = np.random.default_rng(0)
K = np.array([[800.0, 0, 320], [0, 800.0, 240], [0, 0, 1]])  # camera intrinsics in pixels

# Two calibrated views 0.3 m apart, as projection matrices P = K [R | t]
P1 = K @ np.hstack([np.eye(3), np.zeros((3, 1))])
P2 = K @ np.hstack([np.eye(3), [[-0.3], [0.0], [0.0]]])

for z in [2.0, 10.0]:
    # 200 points on a wall z meters away, observed in both images with half-pixel noise
    points = np.column_stack([rng.uniform(-1, 1, 200), rng.uniform(-0.5, 0.5, 200), np.full(200, z)])
    X = np.vstack([points.T, np.ones(200)])
    x1, x2 = P1 @ X, P2 @ X
    x1, x2 = x1[:2] / x1[2] + rng.normal(0, 0.5, (2, 200)), x2[:2] / x2[2] + rng.normal(0, 0.5, (2, 200))

    # Triangulate: find the 3D point whose projections best match both observations
    Xh = cv2.triangulatePoints(P1, P2, x1, x2)
    error = np.linalg.norm((Xh[:3] / Xh[3]).T - points, axis=1)
    print(f"Wall at {z:.0f} m: median 3D error {100 * np.median(error):.1f} cm")

В результате медианная ошибка для стены на расстоянии 2 м составляет 0,8 см, а на расстоянии 10 м — 18,4 см. Увеличение расстояния в пять раз даёт примерно 23-кратное увеличение ошибки — почти квадратичный рост, предсказываемый геометрией двух ракурсов. Поэтому в фотограмметрии удалённые поверхности снимают с большого числа точек обзора, расположенных на значительном расстоянии друг от друга.

Реконструкция предполагает, что сцена статична, поэтому движущиеся люди и транспорт создают призрачную геометрию и несопоставимые признаки. COLMAP пропускает извлечение признаков в областях, закрашенных чёрным на маске отдельного изображения. Маски людей и автомобилей, полученные с помощью модели сегментации экземпляров Ultralytics YOLO26, не позволяют этим движущимся объектам попасть в статичную реконструкцию.

Представления и реконструкция с помощью обучения#

Облачные точки легко создавать, но у них нет связности. Сетки представляют непрерывные поверхности, подходящие для измерений, игровых движков и цифровых двойников, а воксельные сетки разбивают пространство на ячейки. KinectFusion, представленный Ричардом Ньюкомбом и его коллегами в 2011 году, в реальном времени объединял кадры с камеры глубины в усечённый объём знакового расстояния. Этот метод объёмного слияния по-прежнему реализован в таких библиотеках, как Open3D. Неявные нейронные представления кодируют поверхность нейросетью, которая преобразует координаты в заполненность или знаковое расстояние, а нейронные поля излучения и гауссово сплаттинг-представление моделируют внешний вид с разных направлений для синтеза новых ракурсов. Их геометрию измерить напрямую сложнее, чем геометрию сетки. Современные сети прямого прохода вообще обходятся без оптимизации: VGGT, разработанная Visual Geometry Group из Оксфорда и Meta AI, за один проход предсказывает положения камер, карты глубины и 3D-точки для одного или сотен изображений и получила награду за лучшую статью на CVPR 2025.

Смежные задачи отличаются тем, что они возвращают. Оценка глубины предсказывает расстояние для каждого пикселя одного ракурса, то есть отдельную неполную поверхность. Стереозрение выполняет реконструкцию по двум синхронизированным камерам. Визуальная SLAM отслеживает движущуюся камеру и строит карту в реальном времени для навигации, жертвуя полнотой ради скорости. Обнаружение 3D-объектов размещает вокруг объектов ограничивающие рамки, а не восстанавливает их поверхности.

Примеры применения в реальных условиях#

  • Дополненная реальность: ARKit от Apple строит в реальном времени сетку комнаты на iPhone и iPad с LiDAR, благодаря чему виртуальные объекты размещаются на полу и скрываются за мебелью.
  • Контроль качества на производстве: Сканированные готовые детали сравнивают с моделями САПР, чтобы измерить отклонения; эти же сканы позволяют поддерживать цифровой двойник производственной линии в актуальном состоянии.
  • Робототехника: Роботы восстанавливают объекты, которые им нужно захватить, и пространство, по которому им нужно перемещаться, используя бортовые камеры глубины.
  • Культурное наследие и картографирование: Фотограмметрия позволяет оцифровывать здания, места раскопок и целые города. В рамках проекта Building Rome in a Day, проведённого в 2009 году, достопримечательности Рима реконструировали по 150 000 фотографий с Flickr за 21 час на кластере из 496 процессорных ядер.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения