V-CAST 团队 投稿 量子位 | 公众号 QbitAI
AI 看长视频,模型需要逐帧把画面编码成视觉 Token,再送进语言模型理解。
帧数一多,重复的画面会吃掉计算和显存;可压缩太狠,短暂出现的线索、前后动作变化又很容易被漏掉。
针对这一问题,来自中山大学、香港理工大学等校的研究团队提出了 V-CAST:在视觉 Token 送入语言模型前进行筛选剪枝,全程免训练、即插即用。

在 256 帧长视频评测中,V-CAST 平均分领先次优压缩方法 1.5 分;
在 768 帧音视频实验中,保留未压缩模型 97.1% 的表现,总推理耗时降低 50.0%;
在 Qwen3-VL-8B 的 32 帧实验中,仅保留 25% 的视觉 Token,平均表现仍达原模型的 98.2%。

压缩视频 Token,关键在于时空信息覆盖
视频模型将画面编码成视觉 Token。帧数越多,语言模型生成答案前的预填充计算越重。重复背景和动作也会占用计算与显存,因此可以先筛掉部分 Token。
难点是,动作排序、计数和事件定位需要串起不同时刻的线索。若预算集中在少数画面上,模型就可能漏掉动作前后的变化。因此,压缩既要覆盖不同时间段,也要保留帧内细节。V-CAST 先决定每帧留多少 Token,再决定留哪些,并保留原有时空坐标。
两个观察:时间覆盖与位置对应
观察一:预算相同,时间覆盖也可能不同
每帧该分到多少 Token?均匀分配能兼顾各个时刻,却不会区分短暂的动作切换与长时间重复的背景。
按全局差异分配预算容易找到特别的画面,却可能遗漏阶段之间的变化。V-CAST 关注相邻帧的转折,把更多预算分给动作或场景正在变化的时刻。

观察二:特征压缩后,位置仍需对应
压缩后的内容还需与原位置对应。Qwen3-VL 为视觉 Token 记录时间、高度和宽度坐标。将不同位置的 Token 合并后,新特征就难以对应到某个原始位置。
V-CAST 直接选择 Token 子集,保留原始顺序和坐标。为验证这一选择,论文比较了局部池化、固定位置选择与随机选择。

在相同 25% 保留率下,两种直接选择策略均优于局部池化,支持了保留位置对应关系的设计。
两步压缩:先分预算,再选细节
基于这两个观察,V-CAST 在视觉编码与投影之后、语言模型预填充之前,依次完成帧间预算分配和帧内筛选。

根据相邻帧的变化分配预算
V-CAST 用平均特征概括每帧,再用局部曲率衡量特征随时间变化的转折。转折越明显,分配的 Token 越多,同时为每帧保留最低额度,兼顾变化与覆盖。
用两个互补信号选择帧内 Token
拿到每帧预算后,V-CAST 给 Token 计算两项得分:
与整帧平均特征的差异。帮助保留画面一角的小物体等局部细节。
特征激活强度。帮助保留视觉编码器响应较强的区域。
两项得分相加后,每帧按预算保留高分 Token,兼顾显眼区域与局部细节。整个过程无需计算 Token 两两相似度,额外开销较小。
保留原始顺序与时空坐标
选中的 Token 沿用原始顺序、时空坐标和位置编码。整个流程无需训练,也无需提取解码器注意力权重。
以 Qwen 为主:6 个模型配置、10 个基准
实验从 Qwen3-VL-8B 扩展到 32B、MoE、LLaVA 和音视频模型,在统一设置下与其他五个方法进行比较。
Qwen3-VL-8B:比较输入长度与压缩预算
Qwen3-VL-8B 主实验覆盖 32/64 帧输入、25%/15% 视觉 Token 保留率,在四个视频理解基准上比较表现。

32 帧、25% 保留率下,V-CAST 四项基准平均得分 63.1,达到原模型的 98.2%。64 帧下得 65.0 分,比次优方法 VidCom 高 1.0 分。预算压至 15% 时,32 帧和 64 帧的平均分仍均为所比较压缩方法中的最高。
从 8B 到 32B,再到 MoE
扩展到 Qwen3-VL-32B-Instruct 后,在 32 帧、25% 保留率下,V-CAST 平均得分 66.5,高于 VidCom 的 65.6。

剪枝还让部分受显存限制的评测得以完成。同一运行配置下,未压缩的 Qwen3-VL-30B-A3B-Instruct 无法完成 64 帧评测;V-CAST 在 25% 保留率下完成评测,平均得分 68.1。

从 Qwen 扩展到 LLaVA 与音视频模型
换到 LLaVA-OneVision-7B(32 帧)和 LLaVA-Video-7B(64 帧),保留 25% 的视觉 Token,仍分别达到原模型 99.5% 和 95.4% 的平均表现。

在 Qwen2.5-Omni-7B 的 768 帧实验中,音频输入保持完整,视觉 Token 保留 25%。V-CAST 五项基准平均得分 49.6,达到原模型的 97.1%,总推理耗时降低 50.0%。

从 32 帧到 256 帧:检验长视频上下文利用
更多帧既带来新线索,也带来重复画面。实验将输入从 32 帧增加到 256 帧,检验模型能否利用新增信息。在 256 帧下,V-CAST 四项长视频评测平均分领先 VidCom 1.5 分。

效率:预填充延迟降低 51.2%,总耗时降低 13.6%
剪枝主要减少预填充计算,完整评测还包含视频读取、视觉编码和答案生成,因此总耗时降幅更小。测试采用 Qwen3-VL-8B-Instruct,在 VideoMME 上输入 32 帧、保留 25% 的视觉 Token。

相比未压缩模型,V-CAST 预填充延迟降低 51.2%,峰值显存降低 13.0%,完整评测耗时降低 13.6%。LLaVA-OneVision-7B 的预填充耗时也从 96.6 秒降至 26.5 秒,峰值显存降低 11.4%。

消融与迁移:收益来自哪里
在相同预算下替换各个组件后,曲率分配在 32 帧和 64 帧下均取得最高平均分。以 32 帧为例,MLVU 与 VideoMME 总体得分的均值从全局独特性策略的 62.6 升至 63.1。
帧内筛选也需要两个信号互补:只看特征差异可能漏掉与整帧特征相近的关键信息,只看激活强度又可能留下重复区域。两项得分结合时,平均分最高。
曲率分配也可单独复用。实验保留 VisionZip 和 VidCom 原有压缩机制,加入曲率预算分配。在 25% 保留率下,两者在 LongVideoBench、MLVU 和 VideoMME 上均有提升。

案例:预算分到了哪些时刻
在寻找黄道光出现日期的案例中,关键线索只出现片刻;统计釉色种类则需关注多个上釉阶段。V-CAST 分别在天象出现的片段和上釉转折处保留了更多 Token。

保留的画面也影响最终回答。在婚礼集数定位和杂技动作识别两个案例中,V-CAST 均给出了正确答案。

总体而言,V-CAST 通过曲率分配时间预算、双锚点评分筛选空间细节,并保留原始坐标,在无需训练的前提下压缩视觉 Token。
不同模型和输入长度上的结果表明,合理分配有限预算,有助于兼顾视频理解表现与推理效率。
论文题目:V-CAST:Video Curvature-Aware Spatio-Temporal Pruning for Efficient Video Large Language Models 作者:林欣莹、刘旭洋、王一宇、马腾、李佳晟、温子辰、任文琦 单位:中山大学深圳校区、深圳河套学院、香港理工大学、香港科技大学(广州)、上海交通大学 项目主页:https://xinyouu.github.io/V-CAST/ 代码:https://github.com/xinyouu/V-CAST
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法!