3D Reconstruction
3D-реконструкция восстанавливает форму объектов и сцен по фотографиям, видео, данным камер глубины или LiDAR в виде облаков точек, сеток или полей излучения.
3D-реконструкция — это восстановление трёхмерной формы объекта или сцены по таким данным, как фотографии, видео, кадры с камеры глубины или сканы LiDAR. Результат описывает расположение поверхностей в пространстве и может быть представлен облаком точек, то есть выборкой точек на поверхности, полигональной сеткой, воксельной сеткой или обученной функцией, например полем излучения, часто с добавленными цветом или текстурой. Реконструкция по изображениям, также называемая фотограмметрией, — это обратная задача для компьютерного зрения: камера преобразует трёхмерный мир в двумерные пиксели, а реконструкция использует несколько ракурсов одних и тех же поверхностей, чтобы обратить это преобразование.
Как работает реконструкция по изображениям#
Классический конвейер начинается с обнаружения в каждом изображении отличительных признаков, например ключевых точек SIFT, и их сопоставления на перекрывающихся фотографиях. Оставляют только соответствия, согласующиеся с эпиполярной геометрией. Затем метод «структура из движения» восстанавливает положение и ориентацию каждой камеры, а также разреженный набор 3D-точек, и совместно уточняет их методом уравнивания связок, минимизируя ошибку репроекции каждой точки на каждом изображении. Метод многовидового стерео использует известные положения камер для вычисления плотной карты глубины каждого изображения; карты объединяют в одно облако точек, а восстановление поверхности, например построение сетки методом Пуассона, превращает точки в замкнутую сетку, которую можно текстурировать по фотографиям. COLMAP, разработанный Йоханнесом Шёнбергером и его коллегами, — широко используемая реализация этого конвейера с открытым исходным кодом. Камеры глубины и LiDAR позволяют пропустить этап сопоставления и напрямую совмещать перекрывающиеся сканы, обычно с помощью алгоритма итеративного поиска ближайших точек.
Каждая 3D-точка получается триангуляцией: для двух откалиброванных камер это точка, проекции которой лучше всего соответствуют пикселям, в которых её увидела каждая камера. В этом примере триангулируются точки на стене, которую снимают две камеры, расположенные на расстоянии 0,3 м друг от друга. Погрешность каждого наблюдения составляет половину пикселя:
import cv2
import numpy as np
rng = np.random.default_rng(0)
K = np.array([[800.0, 0, 320], [0, 800.0, 240], [0, 0, 1]]) # camera intrinsics in pixels
# Two calibrated views 0.3 m apart, as projection matrices P = K [R | t]
P1 = K @ np.hstack([np.eye(3), np.zeros((3, 1))])
P2 = K @ np.hstack([np.eye(3), [[-0.3], [0.0], [0.0]]])
for z in [2.0, 10.0]:
# 200 points on a wall z meters away, observed in both images with half-pixel noise
points = np.column_stack([rng.uniform(-1, 1, 200), rng.uniform(-0.5, 0.5, 200), np.full(200, z)])
X = np.vstack([points.T, np.ones(200)])
x1, x2 = P1 @ X, P2 @ X
x1, x2 = x1[:2] / x1[2] + rng.normal(0, 0.5, (2, 200)), x2[:2] / x2[2] + rng.normal(0, 0.5, (2, 200))
# Triangulate: find the 3D point whose projections best match both observations
Xh = cv2.triangulatePoints(P1, P2, x1, x2)
error = np.linalg.norm((Xh[:3] / Xh[3]).T - points, axis=1)
print(f"Wall at {z:.0f} m: median 3D error {100 * np.median(error):.1f} cm")В результате медианная ошибка для стены на расстоянии 2 м составляет 0,8 см, а на расстоянии 10 м — 18,4 см. Увеличение расстояния в пять раз даёт примерно 23-кратное увеличение ошибки — почти квадратичный рост, предсказываемый геометрией двух ракурсов. Поэтому в фотограмметрии удалённые поверхности снимают с большого числа точек обзора, расположенных на значительном расстоянии друг от друга.
Реконструкция предполагает, что сцена статична, поэтому движущиеся люди и транспорт создают призрачную геометрию и несопоставимые признаки. COLMAP пропускает извлечение признаков в областях, закрашенных чёрным на маске отдельного изображения. Маски людей и автомобилей, полученные с помощью модели сегментации экземпляров Ultralytics YOLO26, не позволяют этим движущимся объектам попасть в статичную реконструкцию.
Представления и реконструкция с помощью обучения#
Облачные точки легко создавать, но у них нет связности. Сетки представляют непрерывные поверхности, подходящие для измерений, игровых движков и цифровых двойников, а воксельные сетки разбивают пространство на ячейки. KinectFusion, представленный Ричардом Ньюкомбом и его коллегами в 2011 году, в реальном времени объединял кадры с камеры глубины в усечённый объём знакового расстояния. Этот метод объёмного слияния по-прежнему реализован в таких библиотеках, как Open3D. Неявные нейронные представления кодируют поверхность нейросетью, которая преобразует координаты в заполненность или знаковое расстояние, а нейронные поля излучения и гауссово сплаттинг-представление моделируют внешний вид с разных направлений для синтеза новых ракурсов. Их геометрию измерить напрямую сложнее, чем геометрию сетки. Современные сети прямого прохода вообще обходятся без оптимизации: VGGT, разработанная Visual Geometry Group из Оксфорда и Meta AI, за один проход предсказывает положения камер, карты глубины и 3D-точки для одного или сотен изображений и получила награду за лучшую статью на CVPR 2025.
Смежные задачи отличаются тем, что они возвращают. Оценка глубины предсказывает расстояние для каждого пикселя одного ракурса, то есть отдельную неполную поверхность. Стереозрение выполняет реконструкцию по двум синхронизированным камерам. Визуальная SLAM отслеживает движущуюся камеру и строит карту в реальном времени для навигации, жертвуя полнотой ради скорости. Обнаружение 3D-объектов размещает вокруг объектов ограничивающие рамки, а не восстанавливает их поверхности.
Примеры применения в реальных условиях#
- Дополненная реальность: ARKit от Apple строит в реальном времени сетку комнаты на iPhone и iPad с LiDAR, благодаря чему виртуальные объекты размещаются на полу и скрываются за мебелью.
- Контроль качества на производстве: Сканированные готовые детали сравнивают с моделями САПР, чтобы измерить отклонения; эти же сканы позволяют поддерживать цифровой двойник производственной линии в актуальном состоянии.
- Робототехника: Роботы восстанавливают объекты, которые им нужно захватить, и пространство, по которому им нужно перемещаться, используя бортовые камеры глубины.
- Культурное наследие и картографирование: Фотограмметрия позволяет оцифровывать здания, места раскопок и целые города. В рамках проекта Building Rome in a Day, проведённого в 2009 году, достопримечательности Рима реконструировали по 150 000 фотографий с Flickr за 21 час на кластере из 496 процессорных ядер.










