新视点合成 – 第 3 页

【深度估计 Transformer】Vision Transformers for Dense Prediction

作者单位：Intel Labs
https://arxiv.org/abs/2103.13413
https://github.com/isl-org/DPT

密集预测视觉Transformer(DPT)，其在单目深度估计、语义分割等任务上表现SOTA！

我们介绍了密集视觉Transformer，该架构利用视觉Transformer代替卷积网络作为密集预测任务的骨干。我们将视觉Transformer各个阶段的token组装成各种分辨率的图像表示形式，并使用卷积解码器将它们逐步组合为全分辨率预测。

Transformer主干以恒定且相对较高的分辨率处理表示，并且在每个阶段都具有全局感受野。与全卷积网络相比，这些特性使密集视觉Transformer可以提供更细粒度和更全局一致的预测。

实验表明，这种架构在密集的预测任务上产生了实质性的改进，特别是当有大量的训练数据可用时。对于单眼深度估计，与最先进的完全卷积网络（FCN，fully-convolutional networks.）相比，其相对性能提高了高达28%。应用于语义分割时，Dense vision transformer在ADE20K上是49.02%的mIoU。同时进一步表明，当处于新技术设置，该架构可以在较小的数据集上进行微调，如NYUv2、KITTI和Pascal Context。

Introduction

密集预测架构主要基于卷积网络，其设计通常遵循一种从逻辑上将网络分为编码器和解码器的模式。编码器通常基于一个图像分类网络（主干），在像ImageNet这样的大型语料库上进行预训练。解码器聚合来自编码器的特征，并将其转换为最终的密集预测。密集预测的体系结构研究往往集中在解码器及其聚合策略上。主干架构对整个模型有很大的影响，因为编码器中丢失的任何信息都不可能在解码器中恢复。

卷积主干逐步对输入图像进行向下采样，以提取多个尺度上的特征。下采样使接受域的逐渐增加，将低级特征分组为抽象的高级特征，同时确保网络的内存和计算需求保持易于处理。然而，下采样有明显的缺点，这在密集的预测任务中特别突出：特征分辨率和粒度在模型的更深层次的阶段丢失，因此很难在解码器中恢复。虽然特征分辨率和粒度可能对某些任务并不重要，如图像分类，但它们对于密集预测至关重要，在理想情况下，体系结构应该能够在或接近输入图像的分辨率时分辨特征。

现提出的减轻特征粒度损失的各种技术。这些包括训练在更高的输入分辨率（如果计算预算允许），扩大卷积，迅速增加接受域没有下采样，适当放置从编码器的多个阶段跳过连接到解码器，或者最近的通过在整个网络并行连接多分辨率表示。虽然这些技术可以显着提高预测质量，但网络仍然受到其基本构建块—卷积的瓶颈。卷积和非线性一起构成了图像分析网络的基本计算单元。根据定义，卷积是具有有限接受域的线性算子。有限的接受域和单个卷积的有限表达性需要顺序堆叠成非常深的结构，以获得非常广泛的背景和足够高的表征能力。 然而，这需要产生许多需要大量的间接表示。降采样中间表示是必要的，以保持内存消耗在现有计算机架构中可行的水平。

在本工作中，介绍了密集的预测变压器(DPT)。DPT是一种密集的预测体系结构，它基于编码器-解码器的设计，利用transformer作为编码器的基本计算构建块。具体来说，使用最近提出的Vision Transformer(ViT)作为主干架构，将ViT提供的bag-of-words表示重新组装为不同分辨率的类图像特征表示，并使用卷积解码器逐步将特征表示组合到最终的密集预测中。与完全卷积网络不同，ViT主干在计算初始图像嵌入后放弃显式下采样操作，并在所有处理阶段保持恒定维度的表示。此外，在每个阶段都有一个全局性的接受域，实验表明，这些特性对于密集的预测任务特别有利，因为它们会导致细粒度和全局相一致的预测。

单眼深度估计和语义分割的实验。对于通用单眼深度估计的任务，其中有大规模的训练数据可用，与该任务中性能最好的全卷积网络相比，DPT提供的性能提高了超过28%。该架构还可以微调到小的单眼深度预测数据集，如NYUv2和KITTI，当它也设置了新的技术状态。实验利用语义分割实验进一步提供了DPT的强性能的证据。对于这个任务，DPT在具有挑战性的ADE20K和Pascal Context数据集上设置了一个新的最新技术状态。定性结果表明，与卷积网络相比，这些改进可以归因于更细粒度和更全局一致的预测。

Transformer encoder

在一个高水平上，Vision Transformer在图像的bag-of-words表示上进行操作。单独嵌入到特征空间中的图像补丁，或者从图像中提取的深度特征，扮演“words”的角色。在本工作的其余部分中，将嵌入的“word”称为tokens 。Transformer使用multi-headed self-attention(MHSA)的顺序块对tokens进行转换，该块将tokens相互联系起来来转换表示。

image–extracted–image patch–word–token（变化）：特征空间中的图像patch

image patch：图像补丁是较大形式的像素容器例如，假设有一张 100 像素 x 100 像素的图像。如果您将这些图像划分为 10×10 块，那么将拥有一个包含 100 个块的图像（即每个块为 100 像素）。如果开发了一种算法，可以在 10px x 10px 上运行，那么 10px x 10px 就是补丁大小。例如，CNN 的池化层采用更大的块并将它们变成一个像素，可以将其视为信号处理中的窗口。在图像处理补丁和窗口大多数情况下是可以互换的，但是当您的算法主要关注一堆像素共享相似属性的事实时，通常会在上下文中使用补丁。例如，补丁用于稀疏表示或图像压缩的上下文，而窗口用于边缘检测或图像增强。

Multi-headed self-attention(MHSA) Net：一种新的人物再识别模型，称为多头自我注意网络(MHSA-Net)，用于从人物图像中剔除不重要的信息并捕捉关键的局部信息。MHSA-Net包含两个主要的新颖组件：多头自我注意分支(MHSAB)和注意力竞争机制(ACM)。MHSAM自适应地捕获关键的局域人信息，然后产生有效的图像多样性嵌入，用于人的匹配。ACM进一步帮助过滤剔除注意力、噪音和非关键信息。通过广泛的消融研究，验证了结构化的自我注意分支和注意竞争机制都有助于MHSA-Net的性能提高。MHSA-Net在有遮挡的图像上作用深远。

对于应用程序来说，重要的是，transformer在所有计算过程中保持token数量。由于token与image patches有一对一的对应关系，这意味着ViT编码器在所有transformer阶段保持初始嵌入的空间分辨率。此外，MHSA是一个全局操作，因为每个token都可以关注并影响其他token。因此，transformer在初始嵌入后的每个阶段都有一个全局的接受域。这与卷积网络形成了鲜明的对比，卷积网络随着特征通过连续的卷积和下采样层时，逐渐增加了它们的接受域。

具体而言，ViT通过处理所有不重叠的正方形斑块从图像中提取嵌入的补丁从图像中获得 $p^{2}$ 像素的大小。这些补丁被扁平(flattened into)到向量中，并使用线性投影单独嵌入。另一种，更具样本效率的ViT变体通过对图像应用ResNet50来提取嵌入，并使用生成的特征映射的像素特征作为标记。由于transformer是set-to-set functions，因此它们本质上并不保留单个token的空间位置信息。因此，图像嵌入与可学习的位置嵌入连接，以将这些信息添加到表示中。在NLP中的工作之后，ViT还添加了一个与输入图像不相关的special token（readout token），并作为最终用于分类的全局图像表示。在此将这个特殊的标记称为读出标记。

Convolutional decoder

解码器将tokens组合成不同分辨率的类图像特征表示。特征表示逐渐融合到最终的密集预测中。文章提出了一个简单的三阶段重组操作，以从transformer encoder任意层输出的token中恢复类图像的表示形式

不管具体的transformer主干如何，都在四个不同的阶段和四个不同的分辨率上重新组装特征。以更低分辨率组装transformer深层的特征，而早期层的特征以更高分辨率组装。当使用ViT-Large时，从 l ={5，12，18，24}层重新组装tokens，而使用ViT-Base，使用 l ={3，6，9，12}层。当使用ViT-Hybrid时，使用了来自嵌入网络的第一和第二个ResNet块和阶段 l ={9,12}的特性。默认体系结构使用投影作为读出操作，并使用 $\hat{D}$ =256维度生成特性映射，将这些架构分别称为DPT-Base、DPT-Large和DPTHybrid。

最后，使用基于RefineNet的特征融合块结合从连续阶段提取的特征图，并在每个融合阶段对表示向上采样两次。最终的表示大小的分辨率是输入图像的一半，在此，附加一个特定于任务的输出头来产生最终的预测。完整架构的示意图概述如上图所示。

鲁棒性的单目深度估计: Mixing Datasets for Zero-shot Cross-dataset Transfer

Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-shot Cross-dataset Transfer, TPAMI 2022

MiDaS v3.1：https://github.com/isl-org/MiDaS（最近也在更新）

Hugging Face

这篇文章提出了一种监督的深度估计方法，其中使用一些很有价值的策略使得最后深度估计的结果具有较大提升。具体来讲文章的策略可以归纳为：
1）数据集 : 现有的深度数据集的场景不够丰富, 不能训练出一个在任意场景下都健壮的模型. 因此作者选择结合这些数据集。使用多个深度数据集（各自拥有不同的scale和shift属性）加入进行训练，增大数据量与实现场景的互补

但是组合这些数据集有三个挑战:

深度表达不同, 有的是0表示最近, 有的是0表示最远
部分数据集没有提供缩放信息
部分数据集提供了单张图像的相对深度(disparity), 但是跨数据集的相对深度无法直接转换

2）提出了一种scale-shift invariable的loss（具有深度和偏移不变性的损失函数）用于去监督深度的回归过程，从而使得可以更加有效使用现有数据；
3）采用从3D电影中进行采样的方式扩充数据集，从而进一步增加数据量；
4）使用带有原则属性的多目标训练方法，从而得到一种更加行之有效的优化方法；
结合上述的优化策略与方法，文章的最后得到的模型具有较强的泛化能力，从而摆脱了之前一些公开数据集场景依赖严重的问题。

优势：

问题的转化
为了解决数据本身存在深度不一致的问题, 转化成设计一个对深度不敏感的loss
预训练模型
可以直接得到任意单张图像的深度信息, 用于下游任务的训练,

效果：

Single-View View Synthesis :图片-网络-深度图-网络-新视点

Single-View View Synthesis in the Wild with Learned Adaptive
Multiplane Images SIGGRAPH 2022.

现有方法已经显示出利用单眼深度估计和具有分层深度表示的颜色修复的有希望的结果。然而，这些方法处理复杂3D 几何场景的能力仍然有限。我们提出了一种基于多平面的新方法图像 (MPI) 表示。适应野外场景布局多样化，解决高维MPI内容生成难的问题，我们设计了一个网络结构，由两部分组成，一个用于平面深度调整，另一个用于深度感知颜色预测。前者使用 RGBD 上下文特征和注意机制调整初始平面位置。给定调整后的深度值，后者通过特征屏蔽策略实现适当的平面间交互，分别预测每个平面的颜色和密度。

为了训练我们的方法，我们通过简单而有效的 warp-back 策略仅使用不受约束的单视图图像集合来构建大规模立体训练数据。在合成数据集和真实数据集上进行的实验表明，我们训练的模型效果非常好，并取得了最先进的结果

Code：https://github.com/yxuhan/AdaMPI

网络结构：

训练过程:

结果：

D-NeRF—针对动态场景的NeRF

主页：https://www.albertpumarola.com/research/D-NeRF/index.html

https://github.com/albertpumarola/D-NeRF

D-NeRF: Neural Radiance Fields for Dynamic Scenes https://arxiv.org/abs/2011.13961

Abstract

NeRF只能重建静态场景，本文提出的方法可以把神经辐射场扩展到动态领域，可以在单相机围绕场景旋转一周的情况下重建物体的刚性和非刚性运动。由此把时间作为附加维度加到输入中，同时把学习过程分为两个阶段：第一个把场景编码到基准空间，另一个在特定时间把这种基准表达形式map到变形场景中。两个map都用fcn学习，训练完后可以通过控制相机视角和时间变量达到物体运动的效果。

Introduction

和已有的4d方式不同点有：

只需单相机
无需预先算好一个三维重建
可以端到端

想做的就是在原始nerf五维输入上加个时间t，完成

到density和radiance的输出。不过如果直接加，时间冗余没有很好的利用，效果并不好。所以分两个模块：

而且可以产生完整三维mesh，捕捉时变几何。

Pipeline

Formulation

Method

Canonical network（规范网络）

希望找到一种场景的表示能把所有图的相关点的信息都汇聚起来。网络 Ψx 用来编码基准空间中的密度和颜色，给一个坐标x，通过fcn输出256维向量再和d concatenate起来输出density和color

Deformation network（变形网络）

Ψt 训练用来估计某一具体时刻的场景和基准空间中场景的变形场（deformation field），给一个坐标x，输出是这个点和基准空间中的这个点的位移。并且把基准空间场景设为t=0

也用了位置编码，x十维，d，t都是四维

Volume rendering

带时间的渲染公式为：

p(ℎ,t) 表示canonical space中由x(h)变换来的点所以其实渲染的时候还是在canonical space里边进行渲染的离散化形式。

Experiment

可以出mesh，depth：

还可以合成阴影：

相比其他方法：

SynSin:单张图片端到端新视点重建

整体思路：图片-网络-深度图->（直接转换）点云-网络-新视点（CVPR2020）

SynSin: End-to-end View Synthesis from a Single Image

项目主页: https://www.robots.ox.ac.uk/~ow/synsin.html

来自牛津大学、FAIR、Facebook 和密歇根大学的研究者提出了一种单一图像视图合成方法，允许从单一输入图像生成新的场景视图。它被训练在真实的图像上，没有使用任何真实的 3D 信息；引入了一种新的可微点云渲染器，用于将潜在的 3D 点云特征转换为目标视图；细化网络对投影特征进行解码，插入缺失区域，生成逼真的输出图像；生成模型内部的 3D 组件允许在测试时对潜在特征空间进行可解释的操作，例如，可以从单个图像动画轨迹。与以前的工作不同，SynSin 可以生成高分辨率的图像，并推广到其他输入分辨率，在 Matterport、Replica 和 RealEstate10K 数据集上超越基线和前期工作。

整体网络：

首先将图片输入特征和深度网络得到特征map和深度图，接着通过相机参数变换为带特征的点云，接着根据相对变换矩阵T，将带特征的点云渲染到二维像素位置上，接着通过一个GAN生成最终的新视角图片。

该论文的渲染方式值得关注，其并不是简单的使用zbuffer和固定投影像素位置渲染的，在z深度和平面广度上都是软映射的。平面广度上是线性递减的辐射，在深度上取k近邻并排序后，按照次序递减：

这种软渲染的方式估计会牺牲较大的渲染精度，但是对于优化问题来说非常合适不过。

总结：构建了一个先进的端到端模型SynSin，它可以获取单个RGB图像，然后从不同的角度生成同一场景的新图像，无需任何3D监督。我们系统主要是预测一个3D点云，后者通过PyTorch3D使用我们的可微渲染器投射到新的视图上，并且将渲染的点云传递到生成对抗网络（GAN）来合成输出图像。当前的方法通常是使用密集体素网格，它们在单个对象的合成场景中显示出优秀的应用前景，但无法扩展到复杂的真实场景。利用点云的灵活性，SynSin不仅能够实现这一点，而且比体素网格等替代方法更有效地推广到各种分辨率。SynSin的高效率可以帮助我们探索广泛的应用，如生成更好的3D照片和360度视频。

MonoViT—基于ViT的自监督单目深度估计

Self-Supervised Monocular Depth Estimation witha Vision Transformer

paper： https://arxiv.org/pdf/2208.03543.pdf

基于深度学习单目深度估计任务简介

深度估计是计算机视觉领域的一个基础性问题，其可以应用在机器人导航、增强现实、三维重建、自动驾驶等领域。而目前大部分深度估计都是基于二维RGB图像到RBG-D图像的转化估计，主要包括从图像明暗、不同视角、光度、纹理信息等获取场景深度形状的Shape from X方法，还有结合SFM(Structure from motion)和SLAM(Simultaneous Localization And Mapping)等方式预测相机位姿的算法。其中虽然有很多设备可以直接获取深度，但是设备造价昂贵。也可以利用双目进行深度估计，但是由于双目图像需要利用立体匹配进行像素点对应和视差计算，所以计算复杂度也较高，尤其是对于低纹理场景的匹配效果不好。而单目深度估计则相对成本更低，更容易普及。

那么对于单目深度估计，顾名思义，就是利用一张或者唯一视角下的RGB图像，估计图像中每个像素相对拍摄源的距离。对于人眼来说，由于存在大量的先验知识，所以可以从一只眼睛所获取的图像信息中提取出大量深度信息。那么单目深度估计不仅需要从二维图像中学会客观的深度信息，而且需要提取一些经验信息，后者则对于数据集中相机和场景会比较敏感。

摘要：

自监督单眼深度估计是一种有吸引力的解决方案，它不需要难以获取的深度标签来进行训练。卷积神经网络 (CNN) 最近在这项任务中取得了巨大成功。然而，它们有限的接受域限制了现有的网络架构只能在局部进行推理，从而削弱了自我监督范式的有效性。鉴于 Vision Transformers (ViTs) 最近取得的成功，我们提出了 MonoViT，这是一个全新的框架，结合了 ViT 模型支持的全局推理和自监督单目深度估计的灵活性。通过将普通卷积与 Transformer 块相结合，我们的模型可以在局部和全局进行推理，以更高的细节和准确性产生深度预测，从而使 MonoViT 在已建立的 KITTI 数据集上实现sota的性能。此外，MonoViT 在 Make3D 和 Driving Stereo 等其他数据集上证明了其卓越的泛化能力。

介绍：

Transformers (ViTs)最近表现出杰出的目标检测和语义分割等任务的结果，这要归功于它们能够建立像素之间的长距离关系，因此是全局感受野。另外，有相关工作将VIT应用于深度估计，但不是采用自监督单目深度估计。本文弥补了这个缺失的步骤，提出了MonoViT architecture。它在其骨干网中结合了卷积层和最先进的 (SoTA) MPViT块【1】进而对图片中的局部信息（objects）和全局信息（前景和背景之间的关系，以及物体之间）进行建模。该策略使我们能够消除由 CNN 编码器的有限感知域引起的瓶颈，产生自然更细粒度的预测。

作者在KITTI dataset进行实验，表现优于其他sota模型，还分析了模型泛化能力跨不同的数据集，将 MonoViT 与它在 Make3D 和 Driving-Stereo datasets进行比较，也突出显示了 MonoViT 的卓越泛化能力

模型架构：

Deep Network：

Joint CNN & Transformer Layer used in depthencoder：

PoseNet：

PoseNet 倾向于简单而有效的实现。具体来说， PoseNet 使用 ResNet18【2】的轻量级结构。接收相邻图像 [I, I†] 作为输入，输出视频序列相邻帧之间的 6 DoF 相对位姿 T。这个网络用于最终辅助计算loss，提供监督信息。

Loss损失函数

View reconstruction loss：

Smoothness loss. As in previous works， the edge-aware smoothness loss is used to improve the inverse depth map d:

【1】MPViT: Multi-Path Vision Transformer for Dense Prediction

【2】Deep residual learning for image recognition

单张图片实现MIP：Single-view view synthesis with multiplane images

CVPR 2020：https://single-view-mpi.github.io/

最近在视图合成方面的一项工作是在已知的视点上通过给定两个或更多的输入图像，利用深度学习来生成多平面图像（以相机为中心的分层三维展示）。我们将这种表示方法应用于单视角的视图合成，这是一个更具挑战性的问题，但可能有更广泛的应用。我们的方法直接从单个图像输入中学习预测多平面图像，并引入了尺度不变量视图合成的监督，使我们能够在在线视频上进行训练。我们展示了这种方法适用于几个不同的数据集，它还能额外生成合理的深度图，并能学习实现对背景层中的前景对象边缘后面的内容进行填充。

备注：SFM（Structure From Motion），主要基于多视觉几何原理，用于从运动中实现3D重建，也就是从无时间序列的2D图像中推算三维信息，是计算机视觉学科的重要分支。

MIP 首次用于新视角合成

Stereo magnification:Learning view synthesis using multiplane images

本文主要研究新视角合成任务中 Narrow-baseline Stereo Images Pairs（处于同一水平基线的左右视角图像）输入的情况。本文首次提出了 Multiplane Images (MPI) 的场景表达方式，其优点在于：

只需用网络预测一次 MPI 的场景表达，后续就能重复利用该 MPI 来生成多个不同视角下的图片；
能够有效获取未出现在 Stereo 输入图像中（被遮挡）的场景结构。

另外，为了训练网络，本文还提出了一种使用在线视频来生成训练数据的方法

方法：

1. MPI 场景表达

MPI 包含多个平面，每个平面 d 编码两种信息：RGB 颜色图像 C d，透明度 Alpha 图 α d ，因此整个 MPI 可表示为 RGBA 图像的集合，即 { ( C 1 , α 1 ) , . . . , ( C D , α D ) }，其中 D 表示平面的数量（作者最终采用了 32 个平面）。

2. MPI 网络学习

模型训练过程中，输入为(I1,I2,c1,c2)，ground truth 为(It,ct)，其中 I 表示图像，ci=(pi,ki)，pi 表示相机外参，ki 表示相机内参。目标是学习一个 MPI 表达网络 f θ ( ⋅ ) ，以(I1,I2,c1,c2) 作为输入，推断出 MPI 的场景表达，并重建出 ct 相机参数下的目标图像 It 。

网络输入：下面假设 I1 为 Reference Source，I2 为 Second Source，为了将 I2 的位姿信息嵌入到I1 中，作者先计算了一个 Plane Sweep Volume (PSV)，即将 I2 投影到I1 的不同深度平面上（由于这里采用 Stereo 图像输入，I1 和 I2 位于同一水平基线上，故只需将I2 做不同程度的水平偏移即可得到 PSV。和 Stereo Depth Estimation 任务中的 Cost Volume 类似）。之后将I2 的 PSV 和I1 concat 到一起作为网络的输入，输入的尺度为 H × W × 3 ( D + 1 )。

网络输出：作者认为如果让网络回归出每个平面对应的 RGBA 四个通道，网络输出的通道数太多，对于网络的学习太过困难，因此，作者采用了一种简单有效的做法，即将每个平面的 RGB 看作是参考图 I1 和一张统一背景图 I^b 的加权平均：

直观地来说，对于前景内容占主导的附近的平面，I1 将占有更高的权重，而 I ^ b 用于捕捉在参考视图中被遮挡的表面

那么网络仅需要回归出一张背景图I^b，每个平面的融合概率 wd，以及透明度αd，就能够获得完整的 MPI 表达了。总体而言，原本输出的尺寸为 WH⋅4D，在经过调整之后，变为WH⋅(2D+3) 。

3、使用MPIs进行可微视图合成

给定关于一个参考帧的IMPI 表示，我们能够通过对每个平面的RGBA图像应用平面变换(逆单应性)，并将已转换的图像按前后顺序组合成单个图像的阿尔法组合，最终合成得到一个新奇视图I^t。

平面变换和阿尔法组合都是可微的，因此可以很容易地融入到学习流程的其余部分中。

4. 损失函数

结果展示：

MINE–利用单张图片做三维重建

端到端类型

用MPI（Multi-Plane Image ）代替NeRF的RGBσ作为网络的输出

来自字节跳动视觉技术团队的研究者将 NeRF 和 Multiplane Image（MPI）结合，提出了一种新的三维空间表达方式 MINE。该方法通过对单张图片做三维重建，实现新视角合成和深度估算。

开源了训练代码（基于LLFF数据集的toy example），paper里面数据集的pretrained models，并提供了demo代码：

论文地址：https://arxiv.org/pdf/2103.14910.pdf
项目地址：https://github.com/vincentfung13/MINE

相关工作

近年来，在新视角合成这个领域里，最火爆的方法无疑是 ECCV 2020 的 NeRF [5]。与传统的一些手工设计的显式三维表达（Light Fields，LDI，MPI 等）不同，NeRF 把整个三维空间的几何信息与 texture 信息全部用一个 MLP 的权重来表达，输入任意一个空间坐标以及观察角度，MLP 会预测一个 RGB 值和 volume density。目标图片的渲染通过 ray tracing 和 volume rendering 的方式来完成。尽管 NeRF 的效果非常惊艳，但它的缺点也非常明显：

一个模型只能表达一个场景，且优化一个场景耗时久；
per-pixel 渲染较为低效；
泛化能力较差，一个场景需要较多的照片才能训练好。

另外一个与该研究较相关的是 MPI（Multiplane Image）[1, 2, 3]。MPI 包含了多个平面的 RGB-alpha 图片，其中每个平面表达场景在某个深度中的内容，它的主要缺点在于深度是固定及离散的，这个缺点限制了它对三维空间的表达能力。[1, 2, 3] 都能方便地泛化到不同的场景，然而 MPI 各个平面的深度是固定且离散的，这个缺点严重限制了它的效果。

结合了NeRF和Multiplane Image（MPI），提出了一种新的三维空间表达方式MINE。MINE利用了NeRF的思路，将MPI扩展成了连续深度的形式。输入单张RGB图片，我们的方法会对source相机的视锥（frustum）做稠密的三维重建，同时对被遮挡的部分做inpainting，预测出相机视锥的三维表达。利用这个三维表达，给出target相机相对于source相机的在三维空间中的相对位置和角度变化（rotation and translation），我们可以方便且高效地渲染出在目标相机视图下的RGB图片以及深度图。

MINE在KITTI，RealEstate10K以及Flowers Light Fields数据集上，生成质量大幅超过了当前单视图合成的state-of-the-art。同时，在深度估计benchmark iBims-1和NYU-v2上，虽然我们在训练中只使用了RGB图片和sparse深度监督，MINE在单目深度估计任务上取得了非常接近全监督state-of-the-art的performance，并大幅超越了其他弱监督的方法。

Introduction and Related Works

视图合成（novel view synthesis）需要解决的问题是：在一个场景（scene）下，输入一个或多个图片，它们各自的相机内参和外参（source camera pose），之后对于任意的相机位置和角度（target camera pose），我们想要生成场景在该相机视图下的RGB图片。要解决这个问题，我们的模型需要学会场景的几何结构，同时对被遮挡的部分做inpainting。学术界设计了很多利用learning的方法预测场景的3D/2.5D表达，其中跟我们较相关的是MPI（Multiplane Image）[1, 2, 3]。MPI包含了多个平面的 RGB-α图片，其中每个平面表达场景在某个深度中的内容，它的主要缺点在于深度是固定及离散的，这个缺点限制了它对三维空间的表达能力。

近年来，这个领域的当红炸子鸡无疑是ECCV 2020的NeRF [5]。与传统的一些手工设计的显式三维表达（Light Fields，LDI，MPI等）不同，NeRF把整个三维空间的几何信息与texture信息全部用一个MLP的权重来表达，输入任意一个空间坐标以及观察角度，MLP会预测一个RGB值和volume density。目标图片的渲染通过ray tracing和volume rendering的方式来完成。尽管NeRF的效果非常惊艳，但它的缺点也非常明显：1. 一个模型只能表达一个场景，且优化一个场景耗时久；2. per-pixel渲染较为低效；3. 泛化能力较差，一个场景需要较多的照片才能训练好。

方法综述

该团队采用一个 encoder-decoder 的结构来生成三维表达：

Encoder 是一个全卷积网络，输入为单个 RGB 图片，输出为 feature maps；
Decoder 也是一个全卷积网络，输入为 encoder 输出的 feature map，以及任意深度值（repeat + concat），输出该深度下的 RGB-sigma 图片；
最终的三维表达由多个平面组成，也就是说在一次完整的 forward 中，encoder 需要 inference 一次，而 decoder 需要 inference N 次获得个 N 平面。

获得三维表达后，不再需要任何的网络 inference，渲染任意 target 相机 pose 下的视角只需要两步：

利用 homography wrapping 建立像素点间的 correspondence。可以想象，从 target 相机射出一条光线，这条光线与 target 图片的一个像素点相交，然后，研究者延长这条射线，让它与 source 相机视锥的各个平面相交。相交点的 RGB-sigma 值可以通过 bilinear sampling 获得；
利用 volume rendering 将光线上的点渲染到目标图片像素点上，获得该像素点的 RGB 值与深度。

三维表达与渲染

1. Planar Neural Radiance Field

2. Rendering Process

完成这两步之后，我们就可以通过上面volume rendering的公式渲染任意target camera下的视图了。需要注意的是，在获得3D表达后，渲染任意target camera pose下的视图都只需要这两个步骤，无需再做额外的网络inference。

Scale 校正

MINE 可以利用 structure-from-motion 计算的相机参数与点云进行场景的学习，在这种情况下，深度是 ambiguous 的。由于在这个方法中，深度采样的范围是固定的。所以需要计算一个 scale factor，使网络预测的 scale 与 structure-from-motion 的 scale 进行对齐。团队利用通过 Structure from Motion 获得的每个图片的可见 3D 点 P 以及网络预测的深度图 Z 计算 scale factor：

获得 scale factor 后，对相机的位移进行 scale：

需要注意的是，由于需要和 ground truth 比较，所以在训练和测试时需要做 scale calibration。而在部署时不需要做这一步。

端到端的训练

MINE 可以仅通过 RGB 图片学习到场景的三维几何信息，训练 Loss 主要由两部分组成：

1.Reconsturction loss——计算渲染出的 target 图片与 ground truth 的差异：

2.Edge-aware smoothness loss——确保在图片颜色没有突变的地方，深度也不会突变，这里主要参考了 monodepth2 [6] 种的实现：

3.Sparse disparity loss——在训练集各场景的 scale 不一样时，利用 structure-from-motion 获得的稀疏点云辅助场景几何信息的学习：

MINE 与 MPI、NeRF 的比较

MINE 是 MPI 的一种连续深度的扩展，相比于 MPI 和 NeRF，MINE 有几个明显的优势：

与 NeRF 相比，MINE 能够泛化到训练集没有出现过的场景；
与 NeRF 的逐点渲染相比，MINE 的渲染非常高效；
与 MPI 相比，MINE 的深度是连续的，能稠密地表示相机的视锥；
MPI 通过 alpha 合成（alpha compositing）进行渲染，但该方法与射线上点之间的距离无关，而 MINE 利用 volume rendering 解决了这个限制。

然而，MINE 也有一些自身的局限性：

由于输入是单张图片，MINE 无法表达相机视锥以外的三维空间；
由于 MINE 的输入里没有观察角度，所以其无法对一些复杂的 view-dependent 效果（如光盘上的彩虹等）进行建模。

[1]. Tinghui Zhou, Richard Tucker, John Flynn, Graham Fyffe, Noah Snavely. Stereo Magnification: Learning View Synthesis using Multiplane Images. (SIGGRAPH 2018)

[2]. Ben Mildenhall, Pratul P. Srinivasan, Rodrigo Ortiz-Cayon, Nima Khademi Kalantari, Ravi Ramamoorthi, Ren Ng, Abhishek Kar. Local Light Field Fusion: Practical View Synthesis with Prescriptive Sampling Guidelines. (SIGGRAPH 2019)

[3]. Richard Tucker, Noah Snavely. Single-View View Synthesis with Multiplane Images. (CVPR 2020)