DUSt3R: Geometric 3D Vision Made Easy 논문리뷰

💡 3D reconstruction 문제를 **회귀 문제**로 보고, **pointmap을 학습 대상**으로 설정함으로써 다양한 downstream task (e.g. pose estimation, depth estimation 등)를 통합적으로 처리할 수 있게 한 방법론 !

Abstract

기존 한계: 야외 환경에서 MVS는 카메라 파라미터 추정이 필수적이고 핵심적이나 까다롭고 번거로움

DUSt3R:

• 사전 정보(e.g. camera callibration, viewpoint poses)없이 임의의 이미지 컬렉션에서 작동
• 두 이미지 간의 복원 문제를 포인트맵 회귀 문제로 변환해 일반적인 projective camera models의 제약을 완화 ⇒ monocular/binocular reconstruction을 통합
• 세 장 이상의 이미지가 제공되는 경우, 모든 쌍 별 포인트맵을 공통 참조 프레임으로 정렬하는 간단하고 효과적인 global alignment 전략을 제안
• 표준 Transformer 인코더 및 디코더를 기반으로 하여 강력한 사전 학습 모델 활용
• 장면의 3D 모델과 깊이 정보를 제공
• monocular/multi-view 깊이 추정, pose estimation에서 새로운 SoTA

1. Introduction

문제 정의: 다중 뷰로부터 제약 없는 이미지 기반의 dense 3D reconstruction

기존 방법론의 한계: 현대의 SfM 및 MVS 파이프라인은 여러 하위 문제를 최소화하는데에 초점이 있으나, 각 하위 문제들은 완벽하게 해결되지 않아 다음 스텝에 노이즈를 추가시켜 전체 파이프라인의 복잡성과 엔지니어링 노력 증가+ 불안정해서 많은 경우에 실패하기 쉬움.

DUSt3R 핵심:

• 장면이나 카메라에 대한 사전 정보없이 한 쌍의 이미지만으로 dense하고 정확한 장면 표현을 회귀할 수 있는 네트워크로, 결과적으로 생성되는 장면 표현은 다양한 특징을 가진 3D 포인트맵을 기반한다.
• 간단한 회귀 손실을 사용하여 완전 지도 방식으로 학습
• transformer 구조에 기반한 완전한 데이터 기반 전략을 채택 ⇒추론 시 기하학적 제약을 강제하지 않으면서 강력한 사전 학습 방식으로부터 이점을 얻을 수 있다
• 여러 이미지 쌍에서 예측을 융합하기 위해 3차원 공간에서 직접적으로 카메라 자세와 geometry 정렬을 최적화하는 global alignment procedure를 소개하고 사용

DUSt3R 결과 및 기여:

• 제약없는 이미지로부터 전체적인 end-to-end 3D 재구성 파이프라인을 제시하며, 이는 monocular 및 binocular 3D 재구성을 통합한다.
• MVS 어플리케이션을 위한 pointmap representation을 소개한다. 이는 네트워크가 canonical frame에서 3D 형태를 예측하는 동시에 픽셀과 장면 사이의 암묵적인 관계를 보존할 수 있도록 한다. 이는 일반적인 perspective camera formulation의 많은 제약 조건을 효과적으로 제거한다.
• 멀티뷰 3D 재구성의 맥락에서 pointmap을 전역적으로 정렬하기 위한 최적화 절차를 소개한다. 우리의 절차는 기존 SfM 및 MVS 파이프라인의 모든 일반적인 중간 결과물을 손쉽게 추출할 수 있다.
• 3d visiontask의 범위에서 유망한 성능을 보인다. 특히 monocular 및 다중 뷰 깊이 벤치마크, 다중 뷰 카메라 pose estimation에서 sota를 달성한다.

3. Method

Pointmap.

: 3D point의 dense 2D field $X\in \mathbb{R}^{W \times H \times 3}$

해상도 W ×H인 RGB 이미지 I 와 연결하여, X는 이미지 픽셀과 3D 장면 점 사이의 일대일 매핑을 형성한다.

여기서 각 카메라 광선이 단일 3D 점에 적중한다고 가정한다. 즉, 반투명 표면의 경우는 무시한다.

픽셀마다의 3D 좌표를 담은 맵이라고 생각하면 된다.

 

Cameras and scene(정답 포인트맵 구하는 방법).

: 픽셀 위치 (i,j), 그 위치의 깊이 값 $D_{i,j}$, 그리고 camera intrinsics K만 있다면 X_i,j를 바로 구할 수 있다.

$$
X_{i,j} = K^{−1} [iD_{i,j} , jD_{i,j} , D_{i,j} ]⊤
$$

카메라 m의 좌표계로 표현된 카메라 n으로부터의 pointmap $X^n$을 $X^{n,m}$으로 표기한다.

$$
X^{n,m} = P_m P_n^{-1} h(X^n)
$$

여기서 $P_m, P_n \in \mathbb{R}^{3 \times 4}$는 이미지 n과 m에 대한 world-to-camera 포즈이고, $h: (x, y, z) \rightarrow (x, y, z, 1)$ 은 homogeneous 매핑이다.

3.1 Overview

일반화된 스테레오 케이스에 대한 3D 재구성 작업을 직접 회귀를 통해 해결하는 네트워크 F 를 구축하고자 한다.

$$
F : I^1, I^2 \rarr X^{1,1}, X^{2,1},C^{1,1}, C^{2,1}
$$

입력: 2개의 RGB images $I^1, I^2 \in \mathbb{R}^{W \times H \times 3}$

출력: 입력에 상응하는 pointmap $X^{1,1}, X^{2,1} \in \mathbb{R}^{W \times H \times 3}$ 과 confidence map $C^{1,1}, C^{2,1} \in \mathbb{R}^{W \times H}$

여기서 두 pointmap은 모두 $I^1$과 동일한 좌표계로 표현되는데, 이는 기존 접근 방식과는 근본적으로 다르지만 camera parameter 구하거나 global Alignment를 구하는 데에 이점을 제공한다.

두 이미지가 동일한 해상도 W×H를 갖는다고 가정하지만, 실제로는 해상도가 다를 수 있다.

 

Network architecture.

네트워크 F의 구조는 CroCo에서 영감을 받아 사전 훈련 이점을 쉽게 얻을 수 있다.

동일한 두 branch로 구성되며, 각 branch는 image encoder, decoder, regression head로 구성되어 있다.

1. 인풋 이미지들을 같은 인코더로 인코딩해서 token representation 산출
2. 각 디코더를 통해 함께 추론

• 각 디코더 블록: self-attention→cross-attention (한 view의 각 토큰이 다른 view의 모든 토큰을 참조)→MLP
• cross attention에서 서로의 토큰을 참조하는 것은 올바르게 정렬된 pointmap을 출력하는 데에 매우 중요

3. regression head에서 디코더 토큰의 집합을 받아 pointmap과 연결된 confidence map을 출력

Discussion.

일반적인 아키텍처는 어떠한 기하학적 제약 조건도 명시적으로 적용하지 않기에, pointmap이 물리적으로 타당한 카메라 모델에 반드시 상응하는 것은 아니다. 대신, 기하학적으로 일관된 pointmap만 포함하는 학습 세트에 존재하는 모든 관련 사전 정보를 네트워크가 학습하도록 한다. 일반적인 아키텍처를 사용하면 강력한 사전 훈련 기술을 활용하여 기존의 작업 별 아키텍처가 달성할 수 있는 수준을 궁극적으로 능가할 수 있다.

 

3.2 Training Objective

💡 Confidence-weighted regressiong loss

 

3D Regression loss

유일한 학습 목표는 3D 공간에서의 회귀에 기반한다.

$$
\ell_{\text{regr}}(v, i) = \left| \frac{1}{z} X_i^{v,1} - \frac{1}{\bar{z}} \bar{X}_i^{v,1} \right|.
$$

ground-truth pointmap은 유효한 픽셀 집합 D1, D2 ⊆ {1 . . . W } × {1 . . . H}에서 정 된다.

유효한 픽셀 i ∈ D_v 에 대한 회귀 손실(view v ∈ {1, 2})은 Euclidean distance 로 정의된다.

예측값과 정답간의 scale 모호성을 처리하기 위해, 각각을 scaling factor 로 정규화한다. 이때 scaling factor는 모든 유효한 점들의 원점으로부터의 평균 거리를 나타낸다:

$$
\text{norm}(X^1, X^2) = \frac{1}{|\mathcal{D}^1| + |\mathcal{D}^2|} \sum_{v \in {1,2}} \sum_{i \in \mathcal{D}^v} |X_i^v| .
$$

 

Confidence-aware loss

우리의 가정과 달리 하늘이나 반투명한 물체와 같이 제대로 정의되지 않은 3D포인트들이 존재한다. 따라서 트정 픽셀에 대해 갖는 신뢰도를 나타내는 점수를 각 픽셀에 대해 예측하는 것을 공동으로 학습한다.

최종 학습 목표는 모든 유효한 픽셀에 대해 식 $\ell_{\text{regr}}(v, i)$에 대한 신뢰도 가중 회귀 손실이다.

$$
\mathcal{L}{\text{conf}} = \sum{v \in {1, 2}} \sum_{i \in \mathcal{D}^{v}} C_{i}^{v, 1} \ell_{\text{regr}}(v, i) - \alpha \log C_{i}^{v, 1},
$$

$C_{i}^{v, 1}$ 은 pixel i에 대한 confidence score(모델이 예측한 값), α는 정규화 항을 제어하는 hyper-parameter이다. 즉, confidence가 높을수록 회귀 오차가 작아야 하며 두번째항을 통해 confidence가 너무 커지는 걸 방지한다.

엄격하게 양수인 신뢰도를 보장하기 위해 $C_{i}^{v, 1} =1+\tilde{{C_{i}^{v, 1}}} > 1$로 정의한다. 이것은 네트워크가 단일 뷰로 커버되는 영역과 같이 더 어려운 영역에서 추정하도록 강제하는 효과가 있다.

3.3 Downstream Applications

💡pointmap이라는 범용 표현을 사용함으로써 다양한 downstream application을 유연하게 지원할 수 있도록 함 !

Point matching.

두 이미지의 픽셀 간 대응은 3차원 포인트맵 공간에서 Nearest Neighbor(NN)을 통해 달성 가능.

 

Recovering intrinsics.

정의에 따라, pointmap $\mathbf{X}^{1,1}$은 ${I}_1$의 좌표계로 표현되어, 간단한 최적화 문제를 해결함으로써 camera intrinsic parameter 추정 가능하다.

principal point은 대략적으로 중앙에 위치하고 픽셀은 정사각형이라고 가정하기에, focal length만 추정하면 된다. Weiszfeld algorithm에 기반한 빠른 반복 솔버는 몇 번의 반복으로 최적의 f를 찾을 수 있다.

$f_2$는 ( $I_2, I_1$)에 대한 인퍼런스 후 $X^{1,1}$ 대신 $X^{2,2}$를 공식에 사용하면 된다.

 

Relative pose estimation 은 여러 방식으로 수행 가능하다.

1. 2D 매칭을 수행하고 위에서 설명한 대로 intrinsics를 복구한 다음, Epipolar 행렬을 추정하고, relative pose를 복원한다.
2. Procrustes 정렬 을 사용해 두 포인트맵 (X1,1 ↔ X1,2 / X2,2 ↔ X1,2)을 비교함으로써 relative pose을 복원한다. 하지만 해당 정렬은 노이즈와 이상치에 민감하다.
3. PnP와 함께 RANSAC에 의존한다.

Absoute pose estimation도 여러 방식으로 수행 가능하다.

쿼리 이미지 IQ와 2D-3D 대응 관계가 존재하는 기준 이미지 IB로 명명한다.

1. PnP-RANSAC + Intrinsics 추정
   1-1. $X^{Q,Q}$ 로부터 query 이미지의 focal length (intrinsics)를 추정
   1-2. PnP-RANSAC을 통해 2D-3D correspondence 산출
   1-3. Query 카메라 pose를 world coordinate로 계산
2. Pointmap 간 Procrustes Alignment
   2-1. 두 이미지에서 예측한 pointmap을 rigid transform (Procrustes)으로 정합
   2-2. 상대 pose를 직접 추출하고, 필요 시 적절한 scale과 참조 pose로 world frame에 정렬

3.4 Global Alignment

💡여러 이미지 쌍에서 생성된 pointmap들을, 각기 다른 local 좌표계에서 하나의 global 3D 공간으로 정렬 하는 과정 (Pointmap 정렬 + Graph optimization)

위의 네트워크 f는 한 쌍의 이미지만 처리할 수 있다.

이제는 전체 장면에 대한 빠르고 간단한 후처리 최적화를 제시한다. 여러 이미지에서 예측된 pointmap들을 결합된 3D 공간으로 정렬할 수 있게 해준다. 이는 설계 상 두 개의 정렬된 point-cloud와 그에 상응하는 pixel-to-3D mapping을 포함하는 pointmap의 풍부한 콘텐츠 덕분에 가능하다.

Pairwise graph.

1. 주어진 장면의 이미지 집합에 대해 연결 그래프 G 생성.
   이미지 하나가 노드이며, 이미지 쌍 단위의 연결을 엣지라고 보면 된다.
   각 엣지 $e = (n, m) ∈ E$ 는 이미지 $I^n$과 $I^m$ 이 시각적 콘텐츠를 공유함을 나타냄을 의미한다.
2. 기존의 이미지 검색 방법을 사용하거나, 모든 쌍을 네트워크 F에 통과시켜 두 쌍의 평균 신뢰도를 기준으로 중복 영역을 측정한 다음, 낮은 신뢰도를 가진 쌍을 필터링한다.

Global optimization.

:모든 쌍별 예측 결과를 공통 좌표계의 전역 정렬 포인트맵 χn으로 정렬하기 위해 아래 최적화 문제를 해결한다. 코드에서는 minimum_spanning_tree 사용해 이미지 뷰들을 트리 형태로 정렬.

• 최적화 과정 및 수식
  1. 각 이미지 쌍에 대해 쌍 별 포인트맵과 관련된 confidence map을 예측함으로써, 연결성 그래프 G를 사용하여 전역적으로 정렬된 pointmap을 복구한다.
  2. 목표는 모든 쌍별 예측을 공통 좌표계로 회전시키는 것이므로, 쌍으로 존재하는 $e \in E$ 에 대해, 쌍별 자세 $P_e \in \mathbb{R}^{3 \times 4}$와 스케일링 $\sigma_e > 0$을 도입한다.
  3. 그러면 다음의 최적화 문제를 구성할 수 있다.
  4. $$
     \chi^* = \arg \min_{\chi, P, \sigma} \sum_{e \in \mathcal{E}} \sum_{v \in e} \sum_{i=1}^{HW} C_{i}^{v,e} |\chi_i^v - \sigma_e P_e X_i^{v,e} |.
     $$

Recovering camera parameters.

픽셀 (i,j)에 해당하는 3d 포인트 $X^n_{i,j}$가 standard camera pinhole model과 같다는 가정 하에, 전역 정렬된 포인트맵 χn을 사용하여 카메라 파라미터를 복구할 수 있다.

 

Discussion.

BA대신 여기서 제안한 global optimization이 실제로 빠르고 간단하게 수행된다. BA가 일반적으로 수행하는 2D 재투영 오차를 최소화하는 것이 아니라 3D 투영 오차를 최소화한다. 최적화는 표준 경사 하강법을 사용하여 수행되며, 일반적으로 수백 단계 후에 수렴하며 표준 GPU에서 단 몇 초 밖에 걸리지 않는다.

4. Experiments with DUSt3R

Training data.

8개의 데이터셋(Habitat , MegaDepth, ARK-itScenes, MegaDepth, Static Scenes 3D, Blended MVS, ScanNet++, O3D-v2,Waymo)를 섞어서 학습 진행하며, 이 데이터셋은 다양한 장면 유형(실내, 실외, 합성, 실제, 객체 중심 등)을 특징으로 한다.

데이터 세트에서 이미지 쌍이 직접 제공되지 않는 경우, CroCo2에 설명된 방법을 기반으로 이미지 쌍을 추출한다. 구체적으로, 이미지 검색 및 포인트 매칭 알고리즘을 활용하여 이미지 쌍을 매칭하고 검증하며, 총 850만 개의 쌍을 추출한다.

 

Training details.

• 각 epoch마다 데이터 세트 크기의 불균형을 균등화하기 위해 각 데이터 세트에서 동일한 수의 쌍을 무작위로 샘플링 한다.
• 가능한 high-resolution image을 사용하고, 512를 사용한다.
• 입력과 관련된 높은 비용을 완화하기 위해, 먼저 224x224이미지로, 다음에는 더 큰 512x512 픽셀 이미지로 네트워크를 순차적으로 훈련했다.
• 각 배치마다 이미지의 가로 세로 비율(예: 16/9, 4/3 등)을 무작위로 선택하여 테스트 시에 네트워크가 다양한 이미지 형태에 익숙해지도록 했다. 원하는 가로 세로 비율로 이미지를 자르고, 가장 긴 변의 길이가 512 픽셀이 되도록 크기를 조정했다.
• 인코더에 Vit-Large [27], 디코더에 ViT-Base, 그리고 DPT head [91]로 구성했다.
• CroCo(Cross-View completion) pretrained model 로 초기화(MAE에서 영감을 받아 다양한 다운스트림 3D vision 작업에서 뛰어난 성능을 보이는 것으로 나타났으며, 특히 우리의 프레임워크에 적합).

Evaluation.

• 모든 결과는 같은 DUSt3R를 통해 산출했고, 특정 downstream task에 finetune하지 않았다.
• 모든 테스트 시, 모든 테스트 이미지는 가로 세로 비율을 유지하면서 512px로 크기 조정

Qualitative results.

DUSt3R은 어려운 상황에서도 고품질의 dense 3D 재구성을 생성한다.

 

4.1 Visual Localization(입력 이미지의 카메라 포즈 추정)

Dataset.

• 7Scenes: 7개의 실내 장면을 포함, 비디오에서 추출한 RGB-D 이미지와 6DoF 카메라 자세 정보를 제공
• Cambridge Landmarks: 6개의 실외 장면을 포함, RGB 이미지와 SfM을 통해 얻은 카메라 자세 정보를 제공

Metrics.

• median translation error: 카메라 위치 오차를 센티미터(cm) 단위로 측정
• median rotation error: 카메라 회전 오차를 도(°) 단위로 측정

Protocol.

쿼리 이미지(자세를 알고 싶은 이미지)와 이미지 검색을 통해 찾은 관련성이 높은 데이터베이스 이미지 쌍에 대해 DUSt3R를 2D-2D 픽셀 매칭 도구로 사용한다.

쿼리 이미지의 내적 매개변수(intrinsics)를 아는 경우와 모르는 경우 모두에 대해 평가를 수행했다.

 

Results.

• Visual Localization 작업에 대해 특별히 훈련되지 않았음에도 기존의 피처 매칭 기반 방법들(HLoc 등) 및 엔드투엔드 학습 기반방법들(PixLoc, NeuMaps 등)과 비교할 만한 정확도 달성
• 일부 경우에는 HLoc와 같은 강력한 기준선보다 뛰어난 성능
• 다양한 3D 기하학적 정보를 효과적으로 학습했음을 시사

4.2 Multi-view Pose Estimation (Global alignmen 후 여러 이미지 간의 relative pose estimation)

Datasets.

여러 장면의 이미지들과 함께 카메라의 실제 자세 정보를 제공하는 데이터셋 사용.

• CO3Dv2: COLMAP 을 통해 ground truth 얻음
• RealEstate10k: SLAM과 BA를 통해 ground truth 얻음

Metrics.

• RRA@15 (Relative Rotation Accuracy): 회전 오차가 15도 이하인 이미지 쌍의 비율.
• RTA@15 (Relative Translation Accuracy): 위치 오차가 15 이하인 이미지 쌍의 비율.
• mAA@30 (mean Average Accuracy): 회전 및 위치 오차 중 큰 값이 30 이하인 정확도 곡선 아래 면적의 평균.

Results.

• 전역 정렬 방식과 PnP 방식 모두에서 기존의 최신 방법들보다 우수한 성능, 특히 전역 정렬을 사용했을 때 굿
• 이미지 쌍의 pointmap에서 카메라 포즈 정보를 효과적으로 추출하고 정렬할 수 있음을 시사

4.3 Monocular Depth

DUSt3R는 기본적으로 두 개의 이미지를 입력받아 처리하지만, 단일 이미지에서 깊이를 추정할 때는 동일한 이미지를 두 개의 입력으로 모두 사용한다.

네트워크의 출력인 pointmap에서 z값을 사용.

Datasets.

• Outdoors: DDAD, KITTI
• Indoors: NYUv2, BONN, TUM

Metrics.

• Absolute Relative Error(AbsRel): 예측 깊이와 실제 깊이 간의 절대 오차를 실제 깊이로 나눈 값의 평균
• Prediction Threshold Accuracy($\delta_{1.25}$): 예측 깊이와 실제 깊이의 비율이 1.25 미만인 픽셀의 비율

Results.

• zero-shot 설정임에도 불구하고 self-supervised 기반 방법론을 능가하고, 일부 최첨단 supervised baseline과 비슷한 수준 달성
• 실내외 환경 모두에 잘 적용

4.4. Multi-view Depth

여러 이미지 쌍에서 동일한 장면에 대한 여러 깊이맵이 생성될 수 있다. 이 경우, 모든 예측값을 서로 정렬하기 위해 크기를 조절하고, 각 픽셀에 대한 모델의 '신뢰도(confidence)'에 따라 가중치를 두어 평균을 내는 방식으로 최종 깊이맵을 얻었다.

Dataset.

• DTU 
• ETH3D
• Tanks and Temple
• ScanNet

Metrics.

• Absolute Relative Error (AbsRel): 예측 깊이와 실제 깊이 간의 절댓값 차이를 실제 깊이로 나눈 값들의 평균.
• Inlier Ratio (τ): 예측 깊이가 실제 깊이와 특정 임계값 (여기서는 1.03) 이내로 일치하는 픽셀의 비율. 높을수록 굿.

DUSt3R는 ground-truth 카메라 파라미터와 포즈,깊이 범위를 사용하지 않기 때문에 스케일 팩터까지만 유효하다. 따라서 예측 깊이의 중앙값과 ground-truth 깊이의 중앙값을 사용하여 예측을 정규화한다.

Results.

• ETH-3D에서 최첨단 달성
• ground-truth 카메라 자세를 사용하는 방법들까지 포함하여 전반적으로 대부분의 최신 최첨단 방법들보다 뛰어난 성능
• 시간상으로도 저희 방법은 기존의 COLMAP 파이프라인보다 훨씬 빠름
• Habitat 데이터세트의 일부인 ScanNet 테스트 세트를 제외하고는 테스트 도메인에서 훈련되지 않았음에도 불구하고 실내, 실외, 소규모 또는 대규모 장면 등 다양한 도메인에 적용할 수 있음을 시사

4.5 3D Reconstruction

global alignment 절차를 통해 얻은 3D 재구성의 품질을 측정하며, 특히 카메라의 내외부 정보가 주어지지 않은 상태(unconstrained MVS)에서의 성능을 평가

Dataset.

• DTU

Metrics.

• Accuracy: 재구성된 3D 형상의 한 점에서 ground-truth까지의 가장 짧은 유클리드 거리 평균(예측된 점이 GT에 얼마나 가까운가)
• Completeness: ground-truth에서 재구성된 3D 형상의 한 점까지의 가장 짧은 유클리드 거리 평균(복원이 얼마나 빠짐 없이 GT를 포함했는가)
• Overall: Accuracy와 Completeness의 평균

정량적 비교를 위해 예측된 3D 재구성을 실제 데이터의 좌표계에 정렬.

DUSt3R은 DTU 훈련 데이터셋에 별도의 파인튜닝 없이 제로샷(zero-shot)으로 적용.

Results.

• 최고 수준의 방법들의 정확도 수준에는 미치지 못 함
• 비교 방법론들이 Ground Truth 카메라 포즈를 활용하고, 특정 데이터셋(DTU)에 대해 학습하며, 더 정확한 Sub-pixel 단위의 삼각측량(Triangulation) 기법을 사용하는 반면, DUSt3R는 회귀(Regression) 방식에 기반하기 때문
• 그러나 본 정확도는 편의성(Plug-and-play)을 고려할 때 실제 적용에 유용하다고 판단

4.6 Ablations

CroCo pretraining, image resolution의 임팩트에 대해 실험

Results(DUSt3R만 보면 됨).

전반적으로, 관찰된 지속적인 개선 사항은 최신 데이터 중심 접근 방식에서 사전 훈련과 고해상도의 중요한 역할을 시사.

5. Conclusion

장면이나 카메라에 대한 사전 정보 없이 야생에서 3D 재구성을 해결할 뿐만 아니라, 다양한 3D 비전 task들을 해결하기 위한 새로운 패러다임을 제시했다.

 

 

 

[2025년 7월 작성]