关于ZAKER 合作

苹果携手高校推出 AI 模型 Matrix3D 三张照片即可重建 3D 世界

【太平洋科技快讯】近日,苹果联合南京大学与香港科技大学,共同开发了一款名为 Matrix3D 的 AI 模型。该模型的核心优势在于其高效的 3D 重建能力,与传统方法不同,用户只需提供三张照片,Matrix3D 就能快速生成包含物体和环境的详细 3D 模型。

Matrix3D 在技术层面实现了显著突破。传统摄影测量技术通常依赖多个独立模型分别进行姿态估计、深度预测等步骤,这种分段式方法容易导致效率低下和误差积累。而 Matrix3D 采用了一种创新的统一架构,将图像、相机参数 ( 如角度和焦距 ) 以及深度数据等多种信息整合到一起进行处理。这种设计减少了中间环节,使得重建过程更加流畅、可靠,并显著降低了人为错误的风险。

在训练策略上,Matrix3D 借鉴了早期 Transformer 模型的成功经验,采用了掩码学习方法。这种方法类似于 ChatGPT 早期版本的训练理念,通过在训练过程中随机隐藏部分输入数据,迫使模型学会 " 填充空白 "。这种训练方式强化了模型的适应性和泛化能力,使其即使面对数据集较小或不完整的情况,也能有效学习关键特征,完成高质量的 3D 重建。

相关标签
太平洋科技

太平洋科技

PConline官方号,以科技敬生活。

订阅

觉得文章不错,微信扫描分享好友

扫码分享

热门推荐

查看更多内容