关于ZAKER Skills GEO服务 合作
雷锋网 1小时前

要更真实,还是更动人?AI 视频生成走到了分岔口

从 5 大视角,看 AI 视频的挑战与风险在哪。

作者丨徐晓飞

编辑丨刘 伟

当下,视频生成的竞争焦点,正在从"像不像"转移到"能不能用"。

画质、分辨率、单段时长这些指标,正被不同研究团队加速填平。当画面本身的差距收敛,剩下的落差就集中在了更难量化的地方,比如叙事是否连贯,情感是否到位,AI 内容进入真实传播链路之后会引发什么。

这正是 10 月 23 日下午,CNCC 2026大会"视频生成的智与情"主题论坛尝试讨论的问题。

南开大学教授杨巨峰,是这场主题论坛的召集人。据他介绍,这个题目实际上有更早的源头。

2024 年,包括他在内的国内十位学者联名提出了 " 情智兼备数字人与机器人的研究 "。这个题目被遴选为当年度中国科协十大前沿科学问题的第一位。

而今年,这个研究方向收敛到了 " 视频生成 " 这条更具体的赛道上。

杨巨峰把"智"比作人体骨架,这块技术已相对成熟,更加悬而未决的是"情"的部分。他在开场留了一道引发大家思考的题:如果非要二选一,我们希望生成的视频更真实,还是更动人?

雷峰网作为 CNCC 2026 大会的报道媒体之一,从工程交付、底层路线到社会影响三个维度,为大家带来这场主题论坛的精彩发现。

01

AI 能拍科幻大片,却拍不好刘能赵四?

视频生成发展至今,画面本身已经不难做了,但真要拿来干活,就会遇到更细碎的挑战:剧情怎么连贯?情绪怎么对味?

单靠一个基座大模型,显然撑不起交付。如何做更好的交付,成为摆在从业者面前的一道必答题。

哈尔滨工业大学(深圳)教授户保田在《多智能体协作的长时序视频生成:从规则可控到叙事共情》报告中,把长视频生成拆成 " 质 " 与 " 情 " 两条线:

质是真实感的基石,要求符合物理规律和空间关系;情是感染力的来源,包含叙事审美与共情表达。

据他介绍,目前,单基座大模型能稳定生成的长度在 15 到 20 秒,再往上走,跨镜头的角色漂移、跨模态的音画错位、长周期叙事断裂会集中出现。

他举了一个通俗例子:生成《乡村爱情》里刘能、赵四那类角色的对手戏,可能比生成科幻大片还难,难点不在场面,在人物关系的连续性。

对此,他的团队主要做了三块工作:

一块是把工作流变得可控,团队面向 ComfyUI 构建生成工作流基准,用节点优化加强化学习补上长程规划短板,14B 规模的模型就能达到较高准确率,这套系统已被 ComfyUI 集成为原生插件。

一块是长程叙事,Pixel Video 用故事模板协调生成流程、维护人物和时间线状态,相关开源项目在 GitHub 上拿到 3 万 star;之后的 Video Vlog 弱化刚性规则,转向多智能体导演框架,可生成连续剧类长视频。

还有一块是剪辑,Cut Master 以共享剪辑状态为核心,能处理小时级视频,剪辑质量评分相比平均水平最多提升 17 分。

他给这件事定的目标是八个字:逻辑可控,情感可感。

内蒙古大学骏马计划研究员亓帆的《视频生成中的物理感知与视频情感表达》报告在另一头接住这个目标。

她把问题分成了三部分。

在物理感知部分,早期做法是用轨迹、相机、运动场这类外部约束管控动态变化,可控但不保证碰撞、受力这类物理正确。

近年的行业进展转向了物理规律引入,有研究设置了 2000 种物理专家,先从文本提取规律再细化到局部视觉特征。

她的观察是,这个方向的目标已经变了:过去追求下一帧好看,现在更强调状态能否持续,以及能否对环境变化做出响应。

情感表达最靠近 " 情 "。

她认为把控情感需要满足三个条件:明确当下发生的事件语义、定义连续的情感维度变化、设置时间结构组织情感变化过程。

一个容易被忽略的点是:视角。过往研究多关注视频内人物的情感,但要生成符合创作目标的视频,需要重视的是观众视角的情感反馈。

在配乐部分,同一段画面换上不同的配乐,观众感受到的情绪可以完全不同。现有方案的共同短板是调不了情绪强度,模型只能按指令生成 " 高兴的 " 或 " 紧张的 "。

亓帆团队的做法是把可缩放的低秩适配与强化学习结合,实现风格、情感与音色的连续强度调节。

在她看来,生成的人物 AI 感太强的话,会让观众觉得油腻,而走向更自然的关键,在于产出让观众观感舒心的作品,仅仅只在说话和表情的情绪理解上做到位,解决不了观感问题。

02

视觉是否会沦为 " 渲染器 "?

工程上的多智能体和工作流,更像在基模之上打补丁。为了解决长视频漂移和物理穿帮,大家在模型外搭满了 " 脚手架 ",而这套打法引出一个问题:

如果智能系统中的 " 智 " 主要来自语言模型,视觉智能还有多少独立价值?视觉智能,会不会沦为一个渲染器?

北京大学深圳研究生院研究员袁粒在《视觉生成与理解如何走向协同统一》报告中提到,GPT-6 Astra 这类模型出现之后,视觉智能的定位正面临新的冲击。

在强大的语言模型面前,靠视觉理解物理世界的路径走得很吃力。如果只负责把别人算好的结果画出来,视觉的独立智能在哪里?

在袁粒看来,视觉退化为"画图工具人"的根源,在于理解与生成在底层逻辑上的长期割裂。

从信息论的角度看,理解是将冗余的物理信号压缩编码,生成则是把抽象语义解码重建,两者本互为逆过程,现实中却各行其道。

一方面,模型在语言理解中掌握的知识很难自如迁移到生成环节;另一方面,现有的视觉理解习惯将图像压缩并投影到语言空间,视频理解还要频繁抽帧,连续的物理规律和空间关系在压缩中损耗殆尽。

为了弥合这道鸿沟,业内逐渐分化出两种解法。

一种是目前占主流的串行统一,相当于让理解充当 " 左脑 ",生成充当 " 右脑 ",中间通过语言空间对齐。这种方式虽然能直接复用成熟的开源大模型,但狭窄的中间通道不可避免地带来信息损耗。

另一种则是让理解与生成共享骨干网络的并行统一。尽管这条路线目前仍受困于 " 理解要抓语义、生成要抠细节 " 的双向冲突,但袁粒认为这才是深度融合的必然方向。

对于工程与模型的关系,他有一个明确的判断:基模决定上限,智能体兜住下限。

至于视觉的未来,袁粒把自己归为 " 视频派 "。视频自带时空连续性,属于 2.5D 模态,数据成本远低于纯 3D,完全有可能直接走向 4D 动态世界模型。

而视觉智能最终的独立价值,不是跟语言模型抢着做抽象推理,而是作为系统的 " 眼睛 ",通过观察真实状态、生成中间推演,为决策提供物理校验。

03

当视频足够逼真,风险就不在画面里了

当生成的内容足够多、足够真之后,就会流向社交网络。这时问题的性质就变了," 内容进入社会之后会引发什么 " 成了更要紧的议题。

中国科学技术大学特任教授刘武的报告《情智兼备的多智能体内容生成与社交模拟》,把起点放在智能体本身。他的切入点是人类智能的构成:问题解决能力对应智商,群体协作能力对应情商。

他的研究工作分两块,一块是培育具备多样化共情认知和大规模社交行为能力的智能体,另一块是搭建真实映射现实的社交网络模拟环境。

这里有个绕不开的障碍:

用大模型模拟社交群体,一是难以展现多样化特性,二是交互人数增多后容易出现认知同质化,大家的认知和情感趋于一致,模拟本身也就失去意义。

他的团队的应对是引入智能基础信息论框架,为每个智能体设计专属的 " 认知指纹 ",让它分别作用于感知筛选、记忆更新和内容生成的全过程。

在此基础上,团队可以用真实网络数据搭出一个社交模拟器,把这群智能体丢进去,让它们像真人一样去聊天、互动和配合,在具体的场景里把情商和共情能力 " 练 " 出来。

这套模拟器输入真实网络的动态和目标事件,让智能体在里面模拟现实社交,并推演出事情可能的发展走向和最终结果。

而中关村实验室助理研究员折栋宇的报告《从视频生成到认知影响:面向认知安全的多模态内容计算》,讨论这个议题的另一面。

她把 AIGC 视频的社会风险归成五类:历史事实篡改、虚假灾情传播、语境裁剪误导、关键人物事件认知诱导、不良价值导向传播。

这里有个关键区分。内容安全聚焦内容本身的合规、真实与健康;认知安全的主体是人,保护的是个体、群体乃至社会层面的正确认知。

其中,认知风险可以拆成三层:事实层,指视频描述的事件、人物、主张有没有信源支撑;叙事层,指通过素材剪裁重组、重新配音、暗示虚假因果篡改原意;价值导向层,指内容美化暴力、合理化违规行为。

为什么认知容易被操纵,她给了三层解释。受众接收视频后要经过画面转写、事件逻辑串联、结合经验解读三道加工,情绪也在参与。

有实验证明,搭配图片的信息可信度会大幅提升。

此外,传播链路也在放大风险,她举了一个跨境案例,一条讲河南拆迁寺庙的国内生成视频被搬到海外后改写成了西藏拆迁寺庙后,又被传回国内。

上述这些 AI 视频的特点,也解释了传统网络安防技术为什么不够用。

传统技术以规则判定为主,只能识别画面、文字这类显性违规,识别不了藏在叙事逻辑和素材关联里的隐性影响。

由此,折栋宇总结了三个难点是:单看单帧画面都不违规,风险藏在关联关系里;技术迭代快,测试样本覆盖不住新形式;同一表述在不同场景下态度完全不同。

折栋宇团队的探索集中在两块。一块是情感理解,可基于同一图像预测不同受众的差异化感受。另一块是事实核验智能体,把取证、质询、归纳三类行为集成,让模型结合知识搜索自主规划调查路径。

在她看来,大模型本身的推理能力固然重要,但对这类内容计算而言,组织和使用工具的能力同样重要。

04

圆桌讨论:五道没有标准答案的问题

在圆桌环节,专家们针对 5 个问题展开了讨论。

▎问题一:理解会压制创造力吗?

当生成与理解走向统一,创造力会不会被理解压住?

袁粒对此的判断是,统一之后创造力不会被压制,反而会被激发。

他举了一个画画的例子。

人们通常默认创作要先理解、先规划,想清楚画成什么样再动笔。但在袁粒看来,画本身就是创作的过程,真正的敏感点和创作点往往是在落笔的过程中爆发出来的,事先写不出来。

下围棋同理,有些棋要走到那一步才想明白该怎么下。

▎问题二:情感是建模出来的,还是演出来的?

人表达情感的时候,情感到底是被建模出来的,还是发自内心自然流露的?落到 AI 视频制作上,短视频里的情感是不是都可以靠编程规划出来,在什么时间点、让什么角色、表达什么情绪,还是说生成完之后会自己冒出一些情感?

在亓帆看来,放到模型上,演指的是模型否具备常识的、一贯的、理解 " 为什么悲伤 " 的一整个表演过程;建模指的是让视频生成模型去建模悲伤时脸部肌肉的控制动作。

让视频具备情感,落点应该在理解悲伤的意义、理解悲伤是怎么产生的,这对生成结果的自然性帮助更大。

而自发地感受到情感、不按规划去表现情感,这个方向正是下一代模型要追求的。

在刘武看来,现阶段生成模型的情感是建模出来的,往后智能体或者大模型会不会涌现出真实的情感,不能下绝对的定论。

他把这种可能性称为一件比较恐怖的事情,一旦发生就涉及伦理:智能体算人还是算机器?

至少现阶段,能做的事是把情感建模得更真。

▎问题三:物理真实和情感真实打架时,听谁的?

刘武认为,主要看需求导向。

看这段视频的用途,如果是为了学习知识、提供训练数据、建模真实事件,就遵循物理真实,尽量少受情感的干扰。如果是短剧、电影这类艺术性内容,要表现强烈的情感,尤其是科幻剧,违背一些物理真实也未尝不可。

而优先级由最终需求决定,可以跟着需求动态调节。

▎问题四:很真也很动人,但导向不对怎么办?

折栋宇认为,一段视频很真、也很动人,但导向有问题,它就是有问题。

在认知安全里,价值导向是其中一个关键且独立的环节。目前没有太多技术能确保一定把有问题的价值导向检测出来。

所以我们要做的是干预尽量往前推。比如在生成阶段就给出提示,告诉使用者这个东西哪里有问题,能挡掉一部分无心之举。

挡不住的部分要靠后面的环节。她举了一个例子,一段科普洪水的视频,生成时看不出问题,配上不良意图和误导性的标题,就会产生不良的社会影响。在她看来,生成、传播,以及受众看完之后的事后环节,都要有相应的治理手段。

▎问题五:未来一年,最想做成什么?

折栋宇看重自进化智能体。道高一尺魔高一丈,安全技术要根据现有的技术不断提升,让安防智能体以自回归的方式自己迭代,而非静态部署这种低效方式。

刘武希望让情与智更加真实,更加分辨不出来。

亓帆希望能生成一些更具电影质感的视频。

袁粒希望,未来三到五年甚至更长时间,基模能同时生成和理解物理世界;如果说未来一年,则希望模型在生成这个世界之前,先把理解物理世界这件事做好。

05

结语

回到开场留下的那道题:生成的视频,是要更真,还是要更动人?

这场论坛没有给出非此即彼的答案。顺着几位报告人的分享梳理看下来,智的这一侧路线相对清晰,往世界模型、往物理规律走;情的那一侧还在找可度量的抓手,配乐的情绪强度、观众视角的反馈,都还处在早期。

一个可以留存的观察是,当画质和时长不再是门槛,视频生成的下一个分水岭,大概落在内容进入传播链路之后会发生什么。技术负责把画面做出来,评价权交到了社会手里。

而上述这些问题的答案,可以留给下一届论坛继续探究。雷峰网雷峰网雷峰网

CNCC 已经结束,AI 科技评论在参会过程中了解到很多新的技术进展,也收获了不少同行交流的心得,欢迎参会的研究者、学生,以及关注计算机领域前沿进展的读者加入我们的 CNCC 交流社群。

在这里,你可以认识同行、交流研究,分享招生信息、科研合作、约饭、投稿、组队参会等,寻找潜在的合作伙伴。

大会期间,我们持续带来了现场报道速递、嘉宾演讲解读、前沿方向梳理和论坛精华,后续也会继续分享相关内容。

群里见。

? 进群传送门: 扫码进群或添加微信 Qvv0909777,备注:CNCC + 单位 / 学校 + 姓名 + 方向。

上车,带你看遍全球 AI 顶会精华

可独家畅览:

专家演讲 PPT

大会报告全文

热门论文解读

学术新星访谈

扫描上方二维码

或点击「阅读原文」关注专区。

雷峰网

雷峰网

读懂智能&未来

订阅

觉得文章不错,微信扫描分享好友

扫码分享

热门推荐

查看更多内容

企业资讯

查看更多内容