关于ZAKER Skills 合作
硅星人 16分钟前

AI 开服了:LingBot-World 2.0 做成了可玩的开源无限世界

《楚门的世界》里,街道、天气、邻居、广播都按剧本运行,但当楚门开始偏离路线,幕后团队只能狼狈地临时调整灯光、天气和对白,徒劳地维持那个世界的 " 正常 "。

这像极了上一代模型——只能播放,无法应变。但在 LingBot-World 2.0 里,用户的随机行为成为驱动世界运转的核心燃料,而不再是需要补救的意外。

时隔半年,蚂蚁灵波科技将 LingBot-World 正式迭代为 LingBot-World 2.0,亦称 LingBot-World-Infinity。这是一个开源的实时交互世界模型,它把看视频变成了进世界。对用户来说,眼前是一个有初始画面、有背景故事的世界。每一次操作,比如移动、攻击,都会实时生成下一段画面,真正在推动世界向前。对系统来说,内置的 Agent 也在观察这个世界。它会基于当前状态,主动提议新事件,比如让天空下雨、让敌人增援,让环境无需玩家干预,也能自行演化。

LingBot-World-Infinity 是其中唯一在通用领域实现小时级、近似无限生成时长的模型。同时,它还将长时间连续生成、高动态程度、语义交互、较高视觉质量、实时性能和完全开源结合在一起。

具体到这次迭代,LingBot-World 2.0 主要聚焦在三件事上。第一,支持小时级实时生成,长时间运行仍能稳定输出 720p / 60fps 高清画面;第二,支持更丰富的 Action 与 Event,攻击、射箭、施法、射击以及天气、环境变化都可以成为交互的一部分;第三,内置 Agent 实时 propose 新事件,让世界不再静止,而是持续自我演化、随用户而变。

但到底怎么样?来看看实测效果。

动作先发生,世界随后回应

先来看这个 demo,大片草地、木质路牌、村落小屋、旗帜、远山和云雾,搭出了一个中世纪奇幻山谷。近景有草丛和路牌,中景有道路和建筑,远景有森林与群山,空间层次完整,第一眼就让人觉得这个世界可以继续探索。

动态部分则把场景从好看推进到可玩。角色可以通过按 WASD 上下左右穿过山谷,还可以召唤出马匹,骑在马上带起尘土,披风、衣摆和镜头跟随一起运动,让画面有了开放世界的速度感。

战斗上,火枪带来枪口火光、烟雾;魔法则通过发光粒子、能量轨迹、冲击波、火焰、符文等特效,展现出明显的技能范围、命中反馈和奇幻感。当然,用户可以随时设置新的技能,去到新的环境。至此,LingBot-World 2.0 真正成为了一个可以根据用户意志随时改变的空间。

但用更高的标准看,问题依然存在,对物理世界的理解还不够扎实。马匹奔跑时,脚步和地面的接触不够真实;尘土、草地、衣摆没有完全根据速度和方向自然变化;魔法爆炸也不是每一次都影响了周围环境 ......

从 shopping mall 到梵高

这里我自己新建了一个场景,可以看见,跟随移动视角,画面里有灯笼、摊位、烟雾、行人和湿润的石板路。随后我点击右侧事件提案里提前设置好的的 "梵高风格幻觉",天空中立刻出现蓝色旋涡状、星空笔触式的幻觉效果,视觉上呼应了梵高式的旋转星空。

之后我随机点击 " 进入蔬菜商店、水果商店、或高级商场 ",能明显看出分镜衔接和流畅度非常高,每一次事件触发后,镜头并不是生硬跳切,而是保留了视角行走的连续性,从街市到店铺、从蔬果货架到高级商场,都有合理的空间过渡。光照、材质、人物轮廓、货架结构和商业空间布置也保持了很强的一致性。

整体观感非常真实。

更重要的是,这种画面的一致性体现出模型的超强世界知识。它能理解不同商店的区别,也知道什么是高级商场。

既能原创,也能二创

用 LingBot-World 2.0 搞一个抽象,看过《潜伏》的才懂。

是什么撑起了这个 " 不停机 " 的世界

言归正传,LingBot-World 2.0 能实现小时级实时运行且画面几乎不漂移,根源在于它从训练范式上做了一个根本性的转向——把世界模拟严格定义为一个因果生成过程。

传统视频生成模型普遍采用双向注意力机制,让每一帧都能 " 看到 " 过去和未来的全部画面,这种做法在生成短视频时效果惊艳,但代价是模型从未真正学会什么是因果。它只知道在统计上," 开枪 " 的画面后面常常跟着 " 玻璃碎裂 " 的画面,却不理解前者是后者的原因。一旦进入需要长时间连续自回归生成的场景,微小误差就会在帧与帧之间反复累积,画面逐渐模糊、变形,最终崩坏。

所以 LingBot-World 2.0 的第一层优势是把世界模拟定义为因果生成。当前画面只依赖历史上下文、当前状态和用户输入,未来信息不能提前泄露。为此,团队设计了 MoBA,即混合双向与自回归注意力机制。自回归部分保证模型按时间向前生成,双向部分则保留视频模型对整体画面关系和视觉质量的把握。简单说,它既要让模型知道 " 接下来该发生什么 ",也要尽量保住 " 画面应该怎么稳定、怎么好看 "。

第二层优势是实时性。高质量视频生成通常需要多步采样,画面越复杂,等待越明显,但交互世界不能让用户每按一次键就停下来等。LingBot-World 2.0 的应对方法是先训练高质量基础模型,再通过 consistency distillation 和 DMD 将多步扩散压缩为少步生成,部署侧则结合并行推理、异步 VAE 解码、流式传输和动态 KV cache 管理,减少从用户输入到画面反馈之间的延迟。

因此,720p/60fps 的意义也不只是画面更清晰,而是让交互真正成立。按键之后的反馈才会显得足够快,场景延续足够顺,事件变化显得不突兀。

与此同时,1.3B 轻量模型降低了部署门槛,使系统有机会在单张消费级 GPU 上运行。对普通用户来说,世界模型只有进入这个速度区间,体验才会从 " 看生成 " 接近 " 玩世界 "。

第三层优势是 Agentic Harness。LingBot-World 2.0 在视频生成模型外层加入 " 大脑 - 小脑 " 协同框架。VLM 充当大脑,持续观察当前画面、理解用户动作,并提出下一步可能发生的事件。底层视频生成模型则更像小脑,负责把这些事件转化为连续、可信的画面。换句话说,Pilot Agent 规划角色行为,Director Agent 补充环境变化,让系统能根据当前场景临时生成新的互动可能,而不再被动地续写画面。

这也是它区别于传统视频生成工具的地方。当你不知道干什么却又想体验未知的时候,就可以使用上图右侧面板中的事件提案,在这个例子里,除了已有的按键如跳跃、滑翔、云鲸出现等,你还可以按下 U 或者 O ,获得系统基于当前世界状态给你随机生成的下一步选择,这何尝不是另一种系统金手指呢。

综上,一句话总结 LingBot-World 2.0 的技术优势就是它同时解决了长时稳定、实时反馈和事件驱动交互三个问题,让视频生成开始具备 AI 原生世界的雏形。

边界很清晰

在技术报告里,蚂蚁灵波也用一小节坦诚地列出了当前模型的局限。

事实上,这是整个赛道需要共同迈过的坎。

首先,长期记忆依然是最大的难题。模型可以在很长时间里保持视觉稳定,但当某个区域离开上下文窗口后,再回到那里,它更像重新生成一片相似区域,未必真正记得 " 刚才那扇门被打开过 "。技术报告里把这个问题概括为:" 世界在 appearance 上持久,在 identity 上并不持久。"这也解释了团队为什么要引入动态 KV 缓存管理机制,本质上是在给模型装一个短期记忆辅助器。

其次,关于一致性,存在着身份和风格在超长探索中也还是可能缓慢漂移等问题,以及物理理解也远未达到真实引擎的确定性,角色和物体偶尔会穿插,碰撞关系会混乱。这都是因为它学会了物理的视觉表现,但还没学会物理本身。

最后,算力同样是门槛。14B 主模型更适合高质量体验和研究验证,1.3B 轻量模型降低了本地尝试门槛,但开发者和创作者想在自己手头的设备上流畅地 " 开世界 ",仍然是一个不小的系统工程。

世界已开服,钥匙在你手里

不过,这些局限也让 LingBot-World 2.0 的位置变得更清楚。一个真正要被使用、被复现、被继续推进的世界模型,不能只展示最漂亮的片段,也要说明哪些能力还在路上。

回到一个更实际的问题:这样一个世界模型,到底能用来做什么?

答案比想象中更宽。

在游戏和互动内容领域,它可以把剧本驱动变成世界驱动,剧情不再由编剧的分支树预先锁定,而是从玩家行为和 Agent 的事件提案中自然生长出来。对创作者来说,这意味着工具范式的迁移,过去你逐帧制作画面,现在你可以通过 Action 和 Event 控制世界的演化方向,创作从画每一片叶子变成种一棵会自己生长的树。

往更深处看,这个模型对具身智能和自动驾驶的价值同样很大。它可以提供一个持续变化、突发事件不断的仿真环境,比固定场景的 replay buffer 更接近真实世界那种永远不知道下一秒会发生什么的复杂性。

同时,它还支持多人进入同一个世界,让 AI 原生的多人交互有了可以跑起来的原型。

对世界模型研究而言,这套开源系统将提供一个事件驱动、可持续运行的公共实验底座。研究者可以在上面测试长时因果一致性、开放域动态规律、智能体协同与环境反馈等关键问题,不必从零搭建一个能持续响应动作和事件的虚拟世界。

目前,主模型以非商用开源协议发布,用户可以直接在 Reactor 在线平台上手体验,也可以通过灵光 APP 中的 " 世界模型 " 功能进入。对于普通用户来说,这很可能是第一个真正开放的、能实现无限时交互的世界模型。

边界已经清晰,图纸已经公开。世界开着,等你进门。

相关链接:

Website:https://technology.robbyant.com/lingbot-world-v2

Model:

https://huggingface.co/collections/robbyant/lingbot-world-v2

https://modelscope.cn/collections/Robbyant/LingBot-World-V2

Code:https://github.com/Robbyant/lingbot-world-v2

在线体验地址:

https://www.reactor.inc/lingbot-world-v2

Tech Report:

https://github.com/Robbyant/lingbot-world-v2/blob/main/paper.pdf

硅星人

硅星人

硅是创造未来的基础,欢迎登陆硅星球。

订阅

觉得文章不错,微信扫描分享好友

扫码分享

企业资讯

查看更多内容