腾讯科学家，怎么看世界模型？
文/秋秋&托马斯之颅
去年年底，单瀛带领ARC实验室加入IEG（互动娱乐事业群）公共技术线，开始了在沉浸式体验相关方向的前沿探索。
公共技术线是腾讯游戏的核心技术中台，支撑整个事业群的共性技术能力。它一头连接游戏项目，改造美术、动画、测试等生产管线；一头继续向前探索智能体、世界模型和多模态等技术，判断它们可能给游戏带来什么。
这套布局里，已经有不少技术开始进入项目。比如Motus AI正在用生成式技术改造3D角色动画管线，GIGA则在探索能够理解战局、执行指令，甚至迁移到不同游戏中的通用智能体。在前几天的科隆gamescom dev上，两个项目分别做了演讲分享，台下座无虚席。
和公共技术线内更贴近管线、项目的团队不同，这支神秘的研究团队和业务形成一种松耦合的关系，专注于类似世界模型，虚拟智能体，统一多模态方向的前沿探索，被允许不接项目组的需求，也不考核具体的技术落地和收入。
一是做出有技术影响力的成果。说得直白一点，ARC希望自己的技术被同行认可、让开源社区用起来，也让外界看到，腾讯不只拥有产品和业务，还在一些前沿技术上做出了一些有影响力的东西。
"一件事如果由ARC来做，和其他团队做没有太大区别，那就不要做。我们要做的是把一个方向打爆。"
比如他们在研究世界模型的同时，推出了一款图像转3D建模的工具Pixel3D。这个工具实现了图像与3D建模像素级的对应，做到了以往其他工具没能做到的事。相当于你在游戏行业里，解决了美术原画和建模打架的问题。
Pixel3D在开源社区、Youtube等平台获得好评后，ARC已经开始与腾讯游戏公共技术线内负责游戏管线升级的团队合作，ARC提供研究人员和技术，合作团队提供研发环境、资源和应用场景，把技术逐步落地到项目中。
这些问题短期内没有答案，但腾讯不能等到行业真的发生变化，再从头开始研究，公共技术线既要解决游戏生产和玩家体验中已经出现的问题，也需要有人盯着外面更远处的风吹草动。
这次的对话，就跟单瀛的一些思考和预判有关。我们聊到了视频生成为什么会走向可交互的世界，世界模型为什么需要扎根游戏业务，以及游戏为什么可能成为AGI的重要试验场。他认为很多前沿技术未来都会和游戏发生关系，甚至表示"以后哪个团队号称做世界模型，或者做NPC智能体，你要看看他背后到底有没有游戏业务。"
以下是我们与游研社共同对话腾讯游戏公共技术线ARC实验室负责人单瀛的内容，部分内容经过删改。
01
世界模型：
目前谁都没做好
葡萄君：你为什么选择加入IEG公共技术线？
单瀛：在此之前，我们跟IEG已经有交流和合作。我们之前在主要研究怎么生成和理解视频。后来逐渐做到世界模型，发现它与游戏的结合更紧密，所以来到了IEG公共技术线。
这也跟我们团队的定位有关。我们团队一直在做前沿探索。一般聊实验室，大家会问是发论文，还是做落地。但我们更关注能不能把一项技术做出影响力。只要把技术做到极致，论文和落地都是水到渠成的事。
我们很早就开始做生成式技术。2022年，在生成式浪潮前，我们已经在研究视频生成和编辑。但继续做下去，我们发现视频不能只靠提前生成，还需要实时交互，于是团队的研究方向逐渐转向了"沉浸式体验"。
简单来说，就是先构建一个能实时交互的世界，再让智能体和人进入其中。智能体可以自主观察、行动，根据世界的变化决定下一步做什么；人则可以和这个世界、智能体互动，获得沉浸式体验。
葡萄君：我之前听冬哥（腾讯游戏公共技术线负责人陈冬）提过，世界模型里的AI应该真正用视觉感知世界，而不是直接读取结构化数据。但这条路线会不会太昂贵，也比较抽象？
单瀛：要看从什么角度说。如果只是想做一个好玩的NPC，最直接的办法就是读取游戏底层数据。整个场景的状态、每个面的坐标和光照，引擎都知道。智能体拿到这些信息，就能完成很多任务。
但我们做前沿探索，还希望把智能体和AGI联系起来。传统智能体通过API读取的，是已经带有语义的答案，它没有真正去"看"，相当于绕过了视觉感知这个关键问题，直接靠"作弊"拿到了答案。
我们不想走这条路。我们更希望智能体面对原始信息，真正理解世界、物理规律和空间结构。大家把游戏称为试验场，最终瞄准的还是一种能够从原始信息中理解世界的智能体。
葡萄君：为什么理解原始信息这么重要？
单瀛：因为世界模型的核心不是搭建一个世界，是模拟世界怎么变化。当前世界处于一个状态，加入一个动作或者扰动以后，它会进入下一个状态，这里面包含因果关系。
视觉的价值，就是让原始数据直接进入模型。在没有标准答案、从未见过的场景里，模型必须自己理解一个动作会怎样改变世界。这个过程更接近人脑的推理方式，以及人类掌握规律的能力——这才是更接近通用的价值。
葡萄君：现在腾讯在世界模型这个领域处于什么水平？
单瀛：世界模型这件事，目前谁都没有真正做好。我可以先讲讲，现在世界模型大概有哪些技术流派。
一条是纯生成路线，我们内部也把它叫作"无骨派"。它不依赖传统的3D模型和材质，而是根据文字，图片等多模态输入，直接生成视频。就像现在Seedance、可灵等视频模型生成的一些内容，在很多类别的题材上呈现出来的效果已经达到可用的状态。质量的天花板很高，但在三维一致性，物理规律的合理性等方面没有保证，在小众类别上也会出现问题。
另一条路线是"有骨派"。基本思路是在传统流程上加入生成式能力，从而构建新的世界。
比如一些3D生成的初创公司的打法就比较有代表性，也体现了行业里的一种思潮。他们本身有3D技术积累，生产方式是先做一个粗糙的3D白模或者场景结构，再加入生成式技术进行精装，让最终效果更接近自然图像的分布。
在传统骨架之上加入生成式渲染，是一条相对清晰的路径。而且把世界模型描述成这样一件事，大家心里会更有底。你现在看那些需要融资的团队，基本上都在往这边走。
另外在"有骨"和"无骨"之间，还有一种"软骨"的打法。这条路线会把三维结构和物理规律软化成一种隐式表达，放到模型的隐空间（Latent Space）里。
葡萄君：相当于还是视频，但存在某种结构。
单瀛：对，内部是有结构的。这是一条比较新的路线。像我们这样做前沿探索的团队，会更多往这个方向走。我们在研究怎么把显式的"骨"化掉，再融入生成模型内部。
比如我们最近发布的SCoPE这个工具，就是把3D相机的位姿信息通过一种原生的方式插入到视频生成的过程中，达到了类似传统3D制作中对相机控制的程度。这里面有很多有挑战的问题，但我们感觉这条路应该能够走通，而且它和传统技术的连接也会更自然。
葡萄君：这些路线之间存在明确的水平高低吗？还是说大家只是在不同方向上探索，都处于早期阶段？
单瀛：每个方向都有自己的技术难点，区别主要在于最终的天花板有多高。例如GS重建路线的天花板相对有限。但对于一家初创公司来说，需要尽快拿出成果，这通常是最快的路线。毕竟现在的大模型说到底还是数据驱动。你手里相关的场景越多，就更有可能做出对应能力。
葡萄君：所以腾讯的优势，可能在于对应的垂类数据场景比较多，质量比较高。
单瀛：我觉得腾讯的关键优势，是背后有实实在在的业务。抛开其它因素不讲，建设这类模型的投入，没有来自真实业务的驱动，和真实业务场景的需求和反馈，是很难持久的。
世界模型也是同样的道理。它可以理解为一种实时、可交互的视频构建方式，最大的应用场景就是游戏。早期或许你可以不靠游戏业务做概念，但真要把它跑出来，背后还是需要一个足够大的游戏业务。
腾讯游戏有这么大的业务规模，我们扎根在这里，土壤肯定是最肥沃的。
葡萄君：世界模型、智能体等技术，距离真正的质变还要多久？目前有哪些关键问题尚未突破？
单瀛：只讲世界模型的话，它在实时性、交互性等方面还有很多问题。现在的视频生成效果看上去虽然很好，但通常只能生成10秒左右。世界模型真正运行起来，不可能只让玩家进去玩10秒钟。
"无骨派"路线可能也是生成几十秒就开始变形，加入骨架后虽然可能会坚持更久，但没有从根本上解决问题。
更何况除了连续性，视觉内容本身也要保持自洽，维持足够高的一致性。这件事同样很难。举一个经典的例子，你进入一个世界，桌上放着一块钟，显示12点。你到外面转了5分钟，再回到这个房间，这块钟应该显示12点05分。
葡萄君：我觉得回来以后钟还在，可能都已经很好了。
单瀛：我们在SIGGRAPH上，跟几位老朋友讨论这个问题，大家一致认为：你真要牛逼，就应该这样。
02
游戏与AI
葡萄君：世界模型等前沿技术，目前发展到了什么阶段？它们会先从哪些环节进入游戏工业？
单瀛：我觉得它要经历一个量变到质变的过程。现阶段最容易看到效果的，是升级传统游戏管线。例如有骨派可以结合3D生成、场景生成和重建技术，根据一张图片做出三维场景和Mesh（网格），再转换成可交互的内容。我们前段时间做的三维重建方法Pixel3D，就是在前沿探索中发现了进入游戏管线的可能。
未来做世界模型也一样。一旦我们在几个方向中找到了相对确定的路径，身边的业务团队就可以迅速接上，这就是扎根在业务里的优势。
葡萄君：除了升级传统游戏管线，前沿技术还有其他的应用路径吗？
单瀛：第二条路径是游戏"大片化"。游戏的画面质量会越来越接近电影。比如《黑神话：悟空》已经做得很好了，能看出它在往大片画面上靠近。我们在乎实时性，也在乎渲染效果。加入更多生成式技术和"软骨"以后，未来游戏有可能真正达到电影级的画面质量。
而且这件事已经在发生了，它有可能会像短剧一样成为很大的市场。不过，它对传统游戏的冲击，可能没有短剧对长剧那么大。因为游戏有很强的社会属性，玩家需要和其他人一起玩，这一点不太容易被替代——生成式小游戏和传统游戏之间，可能更多是一种互补关系。
游研社：接触更多游戏业务以后，你对游戏和AGI的关系有没有新的理解？
单瀛：刚才讲的沉浸式体验，瞄准的就是AGI。对我们这样的团队来说，做一个会打游戏的智能体只是短期目标。真正要做的，是把世界模型这套东西做透，继续向AGI推进。
AGI最核心的能力是理解。模型不能只是一个走问答捷径的系统，它要真正理解问题。就相当于以前班上的学生有两类：一类记性特别好，什么都可以记住；另一类记性不是很好，但做数学推导题特别好。
对于AGI来说，死记硬背不是最难的问题。主要还是要真正去理解、真正去推导，能够去找物理规律，这个我觉得最关键。游戏正好提供了这样的环境。在构建世界模型和智能体的过程中，你会越来越看清AGI的发展路径。
游研社：也就是说，游戏是世界模型乃至AGI的重要试验场？
单瀛：这是肯定的。世界模型要解决的一个核心问题，是用户给一个动作，它能不能预测世界接下来会发生什么。这是不是和游戏很像？
在真实世界中收集这样的闭环数据成本很高。其他不讲，自动驾驶这件事情做了那么多年了，有大量车辆在真实道路上采集数据，仍有很多问题没有解决，很多人到现在还是不敢用辅助驾驶。虚拟环境则可以灵活构造不同场景，调整环境复杂度，持续记录动作反馈以及世界状态的变化。
更重要的是，游戏里有大量真实玩家。他们会把自己的知识、策略和判断带进游戏，并通过行为表现出来。这种长期持续的互动在其他场景里很难复现。
所以，游戏既是世界模型和 AGI 理想的检验场，也是重要的驱动力。一个团队如果拥有真实的游戏业务场景，往往更有条件推动世界模型和 NPC 智能体持续迭代。
03
在IEG里做研究
游研社：加入IEG以后，你们过去的技术积累，有没有获得更合适的发展土壤？
单瀛：这是一个渐进的过程。团队早期从超分开始，很早就进入了包括图片，视频，3D生成的技术领域。后来我们做了文本生成视频的VideoCrafter、图片生成视频的DynamiCrafter，接着开始研究怎么控制视频生成，比如相机怎么运动，怎么让已经生成的视频动起来。
这些工作一直在把视频生成推向互动。在研究相机控制时，我们就已经遇到了世界模型长时间生成会变形的问题。所以来到IEG以后，并不是突然换了一条路，而是沿着互动视频继续往前走——互动和互娱，其实已经差得不远了。
葡萄君：你们会考虑落地这件事吗？
单瀛：我们其实更关注能不能在叙事框架里，把一些关键技术做到极致。如果做出来的东西足够好，自然会产生影响力，社区会使用，公司内部也会使用。
但同时我们强调一句话，"在有鱼的地方打鱼"，意思是我们的研究仍然有明确导向，跟业务息息相关。我们团队每天都能看到业务同学在做什么，给我们研究问题提供信息。
葡萄君：但业务团队不会直接给你们提需求？
单瀛：不会。前面讲到，我们和业务是松耦合，我们更希望研究人员能够自己观察业务，从中发现值得解决的问题。
葡萄君：像升级游戏管线、Pixel3D这样的探索，相当于是随缘的状态？正好看到了，正好能用上？
单瀛：还是那句话，我们是在有鱼的地方打鱼，不能去太远。研究人员会先沿着有业务价值的方向探索，再通过业务反馈形成自己的判断。我们这套研究模式叫"创新漏斗"。
一年里，我们可能会发表一定数量的论文，基本都会开源。其中大约四分之一会得到社区较好的评价和使用反馈。而业务团队本来就关注技术趋势，看到一个新技术出现，然后发现是腾讯IEG的团队做的，就会主动来交流。得到社区认可的成果中，又有大约四分之一能够进入业务合作。
单瀛：这要看团队的定位。如果一家公司或行业的技术范式成熟、需求明确，那你直接去做也没有问题。但我们要做面向未来的技术，存在很多不确定的路线，这种情况下漏斗模式会更有效。
这套模式也需要组织给团队足够的认可和空间。我们花了五六年时间，陆续做出了一些成功落地的技术，也建立了行业影响力，才逐渐证明这条路可以走通，从上到下得到了对这套机制的认可。
而且对腾讯来说，ARC这样团队并不大，相比创造出直观的收入，团队的更大价值在于建立足够大的技术影响力。
葡萄君：要运转这套模式，最关键的条件是什么？
单瀛：有两点，一是找到特别好的人，二是研究必须扎根业务。
2018年底我回国组建团队，花了一年时间只招了6个人。同期另一个团队半年招了200个人。我当时担心这个速度是不是慢了，但管理层却告诉我"动作不能变形"。
后来，我们一直坚持招最好的人，做最难的事。比如当时我们团队有位成员只做超分（超分辨率重构，Super-Resolution），他博士阶段的三四年都在研究超分，加入团队后又干了一年多人脸超分，是一位专才。
后来腾讯微视想做一个"让老照片动起来"的功能，尝试过不少方案后最终选择了ARC，把我们的人脸超分技术接进去，最终做成了微视首个的爆款功能，使用量100多万次。
这个案例给了大家很大信心，一方面证明了研究者必须钻到这个程度，才有可能把一项技术打爆；另一方面也说明这套漏斗模式能产生真正有价值的成果。
葡萄君：团队怎么判断一个研究方向值不值得投入？管理层会参与这个过程吗？
单瀛：首先我会判断，这件事交给我们做，能不能做出彩？如果大家做出来都差不多，我们就不会做。
这种判断很难完全量化。有点像好莱坞制片人听别人讲剧本。对方把剧本讲完，你就会知道这个故事能不能行。而且不只是我，团队里的同学做久了以后，也会有这种感觉，能判断出某个技术有没有机会。
这个过程中，管理层不会给我提具体需求，但会参与方向引导和业务连接。比如听完汇报后，有时会直接指出一项技术可能适合什么场景。
我们以前做过一个开放世界目标检测模型YOLO-World。它不需要提前固定所有识别类别，增加新类别以后，也不必重新训练整个模型。
当时刚好QQ浏览器想做一个"万物识别"功能。如果按照传统的识别技术路线，必须预先规定哪些能识别、哪些不能识别，就很麻烦。
葡萄君：在你看来，管理层为什么会支持ARC团队和这套模式？
单瀛：管理层不只关心技术能不能落地，也愿意理解技术本身，对技术有热爱，坚持长期主义。
比如我之前的老板去西雅图招人，我是他那趟行程见的最后一个人。我们聊到一篇我在微软做第一作者的论文，第二天早上，他突然给我发微信，挑出论文里的一个公式来问我。我没有想到他回去以后真的把论文看了，而且还追问得这么细节。
Mark（腾讯集团COO任宇昕）对技术也非常感兴趣。我以前组织过一次内部研讨会，邀请了一些港校和C9高校相关方向的老师，Mark和冬哥也参加了研讨会，他们问的问题很底层和原生，你能感觉到他们是真心关注这些技术。
腾讯是一家产品为王、产品驱动的公司。在这样的公司里，管理层仍然愿意坚持长期主义，支持这种研究模式，我觉得非常难得。
葡萄君：如果是在一家体量没那么大的游戏公司，做这些研究会遇到困难吗？
单瀛：放在以前，他们几乎不可能做这样的研究，团队肯定要接业务需求。因为长期主义背后需要实力支持，研究团队每年都需要成本，公司规模越大，越容易容纳这笔成本。
不过现在情况也出现了一些变化。一些AI初创公司也能拿到很多融资，能请到行业人才，集中力量把一个垂直方向打爆。现在美国还有一种"Neo Lab"的概念，这类机构资金特别充足，会招一批顶尖研究者。极端情况下，比如杨立昆的团队，投资人甚至会投入几十亿欧元，啥都不要求，只让团队做研究——一些领域，单靠技术叙事就能够形成不错的商业价值。
所以现在一些资金充足、处于前沿叙事赛道的初创公司，也有可能建立类似我们这样的团队。
葡萄君：最近我们和一些AI公司交流，他们表示现在很多人都具备了Coding的能力，他们招人时会更看重技术素质，以及运用第一性原理思考的能力，因为一些人在原有研究方向上积累的经验可能会限制住自己。在你看来，技术人才的积累在什么时候会成为优势，又在什么时候会变成限制？
单瀛：我们在招人时也从头到尾都不考Coding，相比之下，我们更关注创新能力和学习能力。
比如我们会在面试前两三天，给候选人一篇他从未接触过、与原有方向差异很大的论文，让他研究。
面试时我们会跟他讨论两件事：一是请他讲过去最得意的项目，通过他的思考方式，了解其创新、原创能力；二是看他能把这篇新论文理解得有多深，看他能否在短时间内抓住核心，形成自己的判断。
因为ARC从来不是同一个方向做到老的地方，研究方向可能经常会变。所以需要一个人既要能长期做深一件事，也要能迅速理解新东西。这种能力无关AI，在任何时代都很重要。
游戏葡萄招聘内容编辑，
点击「阅读原文」可了解详情
推荐阅读
（星标可第一时间收到推送和完整封面）
