本文提出使用2D扩散模型生成3D感知图像的新模型。文章首次在大规模数据集ImageNet上训练该模型，能产生高质量的图像。
3D-aware Image Generation using 2D Diffusion Models
Jianfeng Xiang, Jiaolong Yang, Binbin Huang, Xin Tong
[Tsinghua University & Microsoft Research Asia & ShanghaiTech University]
【论文链接】https://arxiv.org/pdf/2303.17905.pdf
【项目链接】https://jeffreyxiang.github.io/ivid/
【摘要】本文介绍了一种新颖的3D感知图像生成方法，利用了2D扩散模型。作者将3D感知图像生成任务形式化为多视角2D图像集生成，并进一步发展为序列无条件-有条件多视角图像生成过程。这使得能够利用2D扩散模型提高方法的生成建模能力。此外，文章结合来自单目深度估计器的深度信息，使用仅静态图像构建有条件扩散模型的训练数据。作者在大规模数据集ImageNet上训练我们的方法，这是以前的方法没有涉及的。它产生高质量的图像，明显优于以前的方法。此外，该方法展示了其能力，即使训练图像来自“野外”真实环境中不同的未对准的图像，也能生成具有大视角的实例。
