根据多视图捕获进行大规模高质量3D高斯头部重建

我们提出HeadsUp，这是一种可扩展的前向方法，用于从大规模多摄像机设置中重建高质量的3D高斯头部。我们的方法采用高效的编码器-解码器架构，将输入视图压缩为紧凑的潜在表示。然后，这个潜在表示被解码为锚定到中性头部模板的一组紫外参数化3D高斯。

这种紫外表示将3D高斯数量与输入图像的数量和分辨率分开，从而能够使用许多高分辨率输入视图进行训练。我们在包含超过10，000个受试者的内部数据集上训练和评估我们的模型，这比现有的多视图人头数据集大一个数量级。

HeadsUp实现了最先进的重建质量，并在无需测试时间优化的情况下推广到新颖的身份。我们广泛分析了模型在身份、视图和模型容量方面的扩展行为，揭示了质量计算权衡的实用见解。

最后，我们通过展示两个下游应用来强调我们潜在空间的优势：生成新颖的3D身份和使用表情混合形状为3D头部动画。- 瑞士苏黎世联邦理工学院- ** 在Apple工作期间完成的工作图1：HeadsUp概述。

我们的方法重建高保真的3D高斯头部从多视角图像。

给定一组输入视图，我们的模型利用基于变换器的编码器和3D高斯解码器来预测前景和背景的紫外参数化3D高斯。该模型是使用光测和感知监督的组合进行端到端训练的。