关于ZAKER 合作
雷锋网 26分钟前

群核科技发布空间大模型,或解决视频生成时空一致性难题

8 月 25 日,群核科技在首届技术开放日(TechDay)上正式发布其空间大模型最新成果:新一代空间语言模型 SpatialLM 1.5 与空间生成模型 SpatialGen,并在现场分享了新模型后续的开源节奏。作为业界首个专注于 3D 室内场景认知与生成的大模型体系,群核空间大模型在真实感全息漫游、结构化可交互以及复杂室内场景处理方面展现出显著优势。

据悉,在开源模型之外,群核科技还首次分享了其 AI 团队基于 SpatialGen 探索的 AI 视频生成解决方案,旨在通过新范式解决时空一致性难题。

SpatialLM 1.5:一句话生成结构化 3D 场景,解决机器人训练数据难题

本次发布的 SpatialLM 1.5 是一款基于大语言模型训练的空间语言模型,支持用户通过对话交互系统 SpatialLM-Chat 进行可交互场景的端到端生成。相比于传统大语言模型对物理世界几何与空间关系的理解局限,SpatialLM 1.5 不仅能理解文本指令,还能输出包含空间结构、物体关系、物理参数的 " 空间语言 "。例如,当用户输入简单文本描述时,SpatialLM 1.5 可自动生成结构化场景脚本,智能匹配家具模型并完成布局,并支持后续通过自然语言进行问答或编辑。

图说:空间语言模型 SpatialLM1.5 能力示意图

更关键的是,SpatialLM 1.5 生成的场景富含物理正确的结构化信息,且能快速批量输出大量符合要求的多样化场景,可用于机器人路径规划、避障训练、任务执行等场景,这将有效解决当前机器人训练 " 缺数据 " 的难题。现场,群核科技首席科学家周子寒演示了机器人养老场景的应用,当输入 " 去客厅餐桌拿药 " 这一指令后,该模型不仅理解了相关的物体对象,还调用工具自动规划出最优行动路径,展示了机器人在复杂家庭环境中执行任务的潜力。

值得一提的是,其前代版本 SpatialLM 1.0 今年 3 月开源后,迅速登上 Hugging Face 趋势榜前三,目前已有初创企业基于其代码和架构训练出自有模型,验证了开源模式的技术辐射力。

SpatialGen:破解 AI 视频 " 时空一致性 " 难题,打造可自由漫游的 3D 世界

如果说 SpatialLM 解决的是 " 理解与交互 " 问题,那么 SpatialGen 则专注于 " 生成与呈现 "。作为一款基于扩散模型架构的多视角图像生成模型,SpatialGen 可根据文字描述、参考图像和 3D 空间布局,生成具有时空一致性的多视角图像,并支持进一步生成 3D 高斯(3DGS)场景并渲染漫游视频。

SpatialGen 依托群核科技海量室内 3D 场景数据与多视角扩散模型技术,其生成的多视角图像能确保同一物体在不同镜头下始终保持准确的空间属性和物理关系。此外,基于 SpatialGen 生成的 3D 高斯场景和真实感全息漫游视频,用户可以如同在真实空间中一样,自由穿梭于生成的场景内,获得沉浸式的体验。

图说:群核空间生成模型 SpatialGen 数据集情况

" 目前,AIGC 文生视频与图生视频工具已经初步推动了全民视频创作的潮流,但由于时空一致性问题的制约,其离真正的商业化应用仍有一定距离。我们正在研发一款基于 3D 技术的 AI 视频生成产品,并计划在今年内正式发布——这或许是全球首款深度融合 3D 能力的 AI 视频生成 Agent。通过构建 3D 渲染与视频增强一体化的生成管线,有望显著弥补当前 AIGC 视频生成中时空一致性不足的问题。" 群核科技 AI 产品总监龙天泽提到。

据了解,现有的 AI 视频创作中,常因视角切换导致物体位置偏移、空间逻辑混乱、遮挡错误等问题。这背后的原因是多数视频生成模型是基于图像或视频数据训练,缺乏对 3D 空间结构和物理法则的理解和推演能力。

启动空间智能飞轮战略,持续开源共建技术生态

" 对于中国这一代企业家来说,拥抱开源能够发挥更大价值。我们一直坚信,只要你的技术有价值,同时赛道蓬勃发展,在里面一定能够分到一杯羹。" 群核科技联合创始人兼董事长黄晓煌说到。

图说:群核科技创始人黄晓煌分享空间智能战略 摄影人 / 黄航

活动现场,黄晓煌分享了群核科技在空间智能布局上的最新思考。基于酷家乐这一全球最大的空间设计平台,群核科技构建了 " 空间编辑工具 - 空间合成数据 - 空间大模型 " 的空间智能飞轮,让工具沉淀数据,用数据加速模型训练,用模型提升工具体验,再在工具的广泛应用中沉淀更为丰富的场景数据。资料显示,截至 2025 年 6 月 30 日,群核科技拥有包含超过 4.41 亿个 3D 模型及超过 5 亿个结构化 3D 空间场景。

" 开源是我们战略的重要关键词之一。群核科技从 2018 年就开始启动了开源战略,逐步开放我们在数据和算法上的能力。相比大语言模型,当前空间大模型还处于初级阶段。我们希望通过开源推动全球空间智能技术快速前进,成为全球空间智能服务提供商,推动属于空间大模型的‘ DeepSeek 时刻’尽快来临。"

据悉,本次技术开放日分享的两款模型将逐步在 HuggingFace、GitHub、魔搭社区等平台面向全球开发者开源。其中,空间生成模型 SpatialGen 在技术开放日当天已可以在开源网站下载使用,而空间语言模型 SpatialLM 1.5 未来也将以 "SpatialLM-Chat" 形式完成开源。

相关标签

相关阅读

最新评论

没有更多评论了