技术路线
四大生成范式全面解析
在早期，3D场景的生成主要依赖程序化的方式。自2021年起，随着生成式模型（尤其是扩散模型）的兴起，以及NeRF、3D Gaussians等新型3D表征技术的出现，这一领域迎来了迅猛发展的新阶段。多种方法不断涌现，场景建模的能力持续增强，同时也促进了研究论文数量的显著增加。这一现象明显显示出，对该领域进行系统性的整理和全方位的评价，已经变得十分急迫。
在本篇综述里，研究团队建立了一个完整的技术分类框架，将现有的三维场景生成技术方法分为了四大主要流派，并对每一流派中的典型研究成果进行了详尽的整理和分析。
这四大范式为3D场景生成搭建了明确的技术路径，研究者们还深入对比了它们在诸多方面的性能表现，诸如真实度、多样性、视角的统一性、语义的连贯性、处理效率、操作的简便性以及物理的准确性。同时，揭示了不同方法在可控性、真实度、效率与一致性之间所做出的权衡。
程序化生成技术，也被称为场景自动构建方法。
此类技术依托预设的规则、物理或空间限制，或利用大型语言模型（LLMs）的先验信息，自主构建出复杂的三维场景，包括地形、建筑物、道路、房间，甚至整座城市。因其具备出色的空间一致性，该程序生成法在游戏与图形引擎领域得到了广泛的应用。依据不同的范式，这一方法还可以进一步划分为多个子类别。
依托于神经网络技术的三维特征构建方法。
该方法在三维空间内直接构建模型，能够产出3D场景的结构化配置（如场景图、场景参数）或直接生成3D表示（包括点云、体素、网格、NeRF、3D高斯等），拥有卓越的三维感知与表述能力。依据场景布局，这些生成内容可以进一步细分为：
图像生成技术
图像生成技术的飞速进步为三维场景的构建开辟了新的途径。此类技术以二维图像生成模型为核心，通过生成多角度的图像来重建场景的三维形态。其核心策略主要分为两大类：
视频驱动的创作技术
将三维场景看作是按时间顺序排列的图像序列，视频生成模式结合了空间构建与时间上的连贯性。依托于视频扩散模型等创新技术，此类方法能够创造出包含视角转换或动态变化的沉浸式场景。根据其生成流程的差异，可以细分为不同的类别。
当前面临的四大挑战
尽管3D场景生成技术已经取得了显著的进步，然而，与实现“可控、高保真、物理真实”的立体世界构建相比，我们仍面临相当大的差距。
生成能力分布不均：当前，各种方法各有其优势，程序化生成和神经3D技术在结构建模与空间控制方面表现突出，却难以完美呈现真实的纹理和光照效果；图像与视频生成技术在视觉上逼真度较高，但在保持空间一致性上常显不足，常出现几何变形等问题。3D表征有待提升：尽管3D表征的形式不断进化，但在表达能力和效率上仍存在不足之处。近期，诸如3D Gaussians等新兴的表征方法在提升效率上有所突破，然而它们在物理基础方面存在不足。目前，我们迫切需要解决的是如何设计出既紧凑、高效，同时兼具物理内涵和视觉逼真度的场景级3D表征问题。优质数据依旧存在难题：当前的数据集呈现极端分化现象，合成数据在标注上虽然细致，却缺少了多样性和现实感；而源自真实世界的扫描数据虽然逼真，却缺少了精确的结构和语义信息。再者，现有数据集往往缺少物理特性、材料特性或交互数据，这使得难以实现物理场景的真实生成，从而难以满足机器人学习、具身智能等领域的需求。评估标准不统一：当前所用的评价准则较为分散，往往依赖于各自设定的视觉或几何性指标，缺少一个既全面又兼顾主观与客观的评估系统。近期涌现的基准测试主要集中于对图像或视频的评估，却缺少对三维属性的直接评价。此外，像eval3D这样的三维基准测试则主要局限于物体级别的建模，对于全面评估整个场景的能力较为有限。
未来的四大发展方向
未来的3D生成模型需在几何、纹理、光照以及多视角一致性方面实现同步优化，这包括兼顾结构和外观，提高材质与光照建模的精细度、增强空间的整体一致性、捕捉阴影和遮挡等场景细节。而要达到真正场景级的高保真效果，还需确保局部细节与全局空间布局和语义结构紧密配合，从而生成既真实又具沉浸感的3D场景。引入物理限制：尽管现有生成技术已在视觉效果上取得显著成就，但常常忽视物理上的真实性，诸如物体放置与移动是否遵循现实世界的物理法则。未来研究需在生成过程中融入物理先验知识、约束条件或模拟机制，以确保生成结果在结构、语义及物理行为上的协调统一。比如，可以利用微分物理模拟器等工具引入物理层面的反馈。这一领域对于在物理环境保持一致性的决策与控制应用至关重要，特别是对于具身智能和机器人等领域。在支持交互的场景生成方面，随着4D场景生成技术的进步，现有方法已能构建包含可移动物体的动态环境。但遗憾的是，目前大多数场景生成技术仍存在响应性不足的问题，它们无法根据用户的输入或环境的变化进行相应的反馈。交互式场景的构建不仅需要实现“被动式”的动态效果，还能在物理交互、用户指令或环境条件发生改变时进行合理的应对。这需要模型能够理解物体的可用性、因果关系的存在以及多个智能体间交互的内在逻辑。感知与生成的一体化：将感知和生成能力进行整合，是未来3D场景建模技术发展的一个关键方向。分割、重建、生成等操作在根本上都需依赖一致的空间和语义先验知识，未来有望通过一个统一的框架实现双向功能：一方面，借助感知能力来提高生成结果的精确度；另一方面，通过增强生成能力来深化对场景的理解。此类模型能够充当通用的“感知-生成”核心网络，为实体智能体提供集成的视觉、语言以及三维空间推理能力。
