Single-View View Synthesis in the Wild with Learned Adaptive
Multiplane Images SIGGRAPH 2022.
现有方法已经显示出利用单眼深度估计和具有分层深度表示的颜色修复的有希望的结果。 然而，这些方法处理复杂3D 几何场景的能力仍然有限。 我们提出了一种基于多平面的新方法图像 (MPI) 表示。适应野外场景布局多样化，解决高维MPI内容生成难的问题，我们设计了一个网络结构，由两部分组成，一个用于平面深度调整，另一个用于深度感知颜色预测。前者使用 RGBD 上下文特征和注意机制调整初始平面位置。 给定调整后的深度值，后者通过特征屏蔽策略实现适当的平面间交互，分别预测每个平面的颜色和密度。
为了训练我们的方法，我们通过简单而有效的 warp-back 策略仅使用不受约束的单视图图像集合来构建大规模立体训练数据。 在合成数据集和真实数据集上进行的实验表明，我们训练的模型效果非常好，并取得了最先进的结果
Code：https://github.com/yxuhan/AdaMPI
网络结构：
训练过程:
结果：
