随着数字人、虚拟主播以及AR/VR等领域的迅猛发展，如何高效地制作出既真实又具有动态效果，且能够适应不同光照条件的3D头像，已成为一个至关重要的课题。
清华大学与IDEA研究机构共同研发了一款名为HRAvatar（高品质且可重光照的Gaussian头部虚拟形象）的技术，该方法能够基于单目视频实现3D高斯头像的重建。运用可学习形变基础和线性蒙皮技术，我们得以实现几何形状的灵活且精确变形，同时借助高效的表情编码器来降低追踪误差，从而显著提高重建效果。
该研究的相关论文已顺利获得国际计算机视觉与模式识别会议CVPR 2025的接纳。
HRAvatar：从单目视频到可重光照头像化身的突破
构建三维虚拟形象在影视、游戏、深度互动会议以及增强现实/虚拟现实等众多领域扮演着核心角色。在这些领域，虚拟形象需满足一系列关键条件：具备动画表现力、能够实现实时互动、保证画面高清晰度以及在外观上达到高度逼真。
然而，尽管从易于获取的单目视频中构建出高度逼真且可动画的头像仍面临诸多挑战，基于3D高斯（3DGS）的方法在可动画性和实时渲染方面已有一定突破，但其重建效果仍然受到三个方面的制约。
几何变换的适应性有限：目前的技术多采用通用的三维人脸模型来引导高斯网格的变形，这导致难以精确地记录和再现个体特有的面部表情变化。
表情识别的精确度有待提升：在训练阶段，基于二维关键点的参数拟合并未达到理想的准确度，单纯对表情参数进行优化会导致泛化能力不足，因此，在测试阶段还需进行进一步的调整和优化。
在单目相机未知光照条件下，直接对头像外观颜色进行拟合，却无法将头像的固有外观与周围环境的光照效果分开处理，这就使得在新的环境光照下进行重光照渲染变得相当困难。
为了解决上述难题，该技术引入了HRAvatar这一概念，它是一种通过3D高斯点技术，将单目视频转化为高质量、具备重光照效果以及可动操控的虚拟头像形象重建方法。
该技术运用可训练的变形基础和蒙皮权重策略，使得高斯点能够从标准姿态顺畅地转变为多种表情及姿态。此外，它还融入了端到端的表情编码器，这有助于提高表情参数的提取精度，降低预追踪参数误差对重建结果的影响，并且保证了模型具备一定的泛化性能。
为了达到逼真的光照效果，该技术将人像表面特征细分为反射率、表面质感以及菲涅尔效应等材料特性，同时引入反射率伪先验信息以优化材质数据的分离，并借助简化的双向反射分布函数（BRDF）物理模型来进行渲染处理。
在确保实时性的基础上，该方法成功实现了虚拟头像的重建，其细节丰富、表现力出众，并且具备良好的重光照效果支持。
HRAvatar架构剖析
精确表情追踪
目前面部追踪技术所获取的表情数据不够精确，为了克服表情数据误差对面部重建效果的影响，该技术方案建议采用表情编码器，以实现表情参数的更精确提取。
编码器与3D头像重建相结合进行优化，实现了从始至终的训练过程。通过运用高斯重建损失作为指导，有效提升了重建的精确度。
几何变形模型
此方法通过形变模型，将高斯点从常规空间转换至姿态空间，进而实现依据表情与姿态参数所进行的变形处理。
为了克服通用参数模型在还原个体特定变形方面的困难，本研究提出了针对每个点进行自适应学习其形变基础和混合蒙皮权重的策略，从而实现了更加灵活和精确的几何形态变化。
与FLAME模型相似，本模型运用可训练的线性混合形状来构建几何变化，并为每个高斯点赋予三个可学习的特性：形态基、表情基以及姿态基。
在实现线性位移形变之后，我们采用线性蒙皮技术，将高斯点转换至姿态空间之中。每个高斯点都附带有一种可学习的混合权重属性，这一属性旨在对个体姿态的变形进行有效适应。
为了简化训练过程并加快收敛速度，该技术借助FLAME模型的几何形状和形变先验知识来进行初始设置：对FLAME网格表面实施插值操作，确定高斯点的具体位置。同时，运用一致的插值方法对形变基和蒙皮权重进行初始化。
外观建模
与3DGS运用球谐函数对点状物体外观进行建模不同，本方法引入了一种全新的外观建模策略，它将外观特征细分为三个关键属性：反射率、表面粗糙度以及菲涅尔效应的基本反射率，并且运用基于BRDF的物理渲染模型来实现色彩渲染。
为了提高工作效率，我们额外采用了SplitSum的近似算法，对环境光照图进行了预先计算，进而实现了高画质以及可重用光照的实时渲染效果。
此方法通过光栅化器生成了反射率图像、表面粗糙度图像、反射系数图像以及法线图像。随后，对镜面反射和散射反射效果进行了计算。
并使用近似的菲涅尔方程来计算镜面反射系数 ：
最终的着色图像由漫反射和镜面反射图相加得到。
法线计算至关重要。在物理渲染中，平滑且精确的法线不可或缺。此方法以每个高斯点的最短轴作为法线依据。为了确保方向正确和几何的一致性，该方法利用深度导数生成的法线图来监控渲染过程中的法线图。
材质属性在恒定未知光照条件下进行解耦时，往往存在不稳定性；在非均匀光照环境中，重建过程中极易将局部光照与反照率混淆，进而产生不自然的重光照效果。本方法通过现有模型提取近似真实的反照率，对渲染反照率进行监督，同时将粗糙度和基础反射率控制在预定义的范围内，旨在实现更加逼真的材质效果。
真实细节与即时效能得以兼顾：HRAvatar的实验成果在全方位上均表现出显著优势，实验配置如下：
该方法对INSTA数据集的十个对象、HDTF数据集的八个对象以及五个手机自采集对象进行了不同方法的评估，测试集选取了每个视频的最后350帧（针对INSTA）或500帧（针对HDTF和自采集），同时所有方法均遵循了统一的裁剪与分割流程，以此保证评估结果的统一性和可信度。图像质量评估采用了PSNR、MAE、SSIM以及LPIPS等指标。
实验结果：
该方法在各项指标上均超越了现有技术，特别是在LPIPS这一指标上表现尤为显著，这充分说明所重建的头像在细节丰富度和画质上均有显著提升。
此外，该技术对驱动和重光照配置进行了渲染速度的测试，结果显示其具备大约155帧每秒的实时渲染性能。
应用：
重建后的头像形象不仅支持动态操作，还能够在不同的环境光照条件下进行光照效果的重新处理，亦或是进行基础的材质调整。
消融实验：
为了检验该研究方法中各个部分的实际效能，论文中实施了一系列细致的消融测试。
实验数据明确显示，HRAvatar在整体性能方面超越了现有技术，能够实现高质量的实时重光照效果，并且便于进行材质的简易编辑。
HRAvatar的问世丰富了单目高斯虚拟头像建模的运用领域，目前，其相关代码已实现全面开放，热切期待您的关注与采纳。
论文地址:
该网站上的论文链接为https://arxiv.org/pdf/2503.08224，请查阅。
项目主页：
禁止访问该链接，确保用户无法直接进入指定的网页。
开源代码：
请勿对项目进行任何修改，确保专有名词保持原样，不得进行替换或改动。
视频Demo：
该视频内容涉及违规操作，已被禁播。请勿访问。
