IT HOME 5月14日新闻，Technology Media 9TO5MAC昨天（5月13日）发布了一篇博客文章，报道说，苹果的机器学习团队与南京大学和香港科学技术大学联手启动了一个名为Matrix3d的3D AI模型，重点是重建几张2D照片的现实世界对象和场景。
用户只需要提供一些图像，该模型就可以自动生成高质量的3D输出。这不仅简化了运营，而且为应用程序领域打开了新的机会，并进一步促进了AI领域的合作。
摄影测量法使用照片来测量，从而创建3D模型或地图。当前的过程依赖于多个独立模型，例如姿势估计和深度预测来处理特定步骤，并且这种分割方法很容易导致效率低下和错误。
Matrix3D创新了该系统。它一次集成了所有过程，例如图像，摄像机参数（例如角度和焦距）和深度数据，并通过统一体系结构处理这些元素，减少中间链接并使重建过程更加顺畅，更可靠。研究人员指出，这种综合设计大大降低了人为错误的风险并改善了整体绩效。
在培训策略方面，研究人员采用了面具学习方法，类似于早期变压器基本AI系统。该技术借鉴了早期版本的Chatgpt培训概念，并在培训过程中随机隐藏了一些输入数据，从而迫使模型学习“填写空白”。这加强了模型的适应性。即使数据集很小或不完整，MATRIX3D也可以有效地学习关键功能。
测试结果证明了MATRIX3D的强大性能。只有三个输入图像，该模型可以生成详细的3D重建，包括对象和整个环境，从而为沉浸式技术带来实用的应用潜力。 IT Home附上了演示视频，如下所示：
例如，在诸如Apple Vision Pro之类的耳机设备中，MATRIX3D可以创建逼真的虚拟场景以增强用户体验。研究人员说，这种能力将加速元宇宙的发展并增强现实。
参考
