关于ZAKER 合作
蓝鲸财经 5分钟前

AI 信任危机加剧:Sora 视频“以假乱真”,国内灰产 3 元“洗白”水印

图片来源:视觉中国

蓝鲸新闻 10 月 20 日讯(记者 朱俊熹)近半个月以来,你可能常在各大社交媒体的视频流中刷到这样的画面:路人在街头采访中被问及知道自己是 AI 生成的吗、交警追逐拦下驾驶车辆的猫猫狗狗、现身中国不同高铁站的 OpenAI CEO Sam Altman ……

只不过这些都不是真实发生的,而是由 OpenAI Sora 2 模型生成的 AI 视频。这些看似逼真却脱离现实的视频内容,推动着 Sora App 在过去十多天内稳居免费应用榜单首位,不到五天下载量便突破百万次,增长速度甚至超过了 ChatGPT。即便竞争对手谷歌于上周推出了新的视频模型 Veo 3.1,其相关 AI 应用 Gemini 目前仍排在 Sora、ChatGPT 之后。

但另一方面,新的 Sora 2 模型也为 OpenAI 招致了大量有关版权与安全的批评。当地时间 10 月 17 日,OpenAI 宣布暂停在 Sora 平台上生成涉及美国黑人民权领袖马丁 · 路德 · 金形象的内容,同时强化针对历史人物的安全防护机制。此前,通过 Sora 生成的马丁 · 路德 · 金发表粗俗言论或偷窃商品等 AI 视频在网上广泛传播,其家人对此表示强烈不满。

无论人们是否欢迎,AI 已经在改变社交媒体。OpenAI 更是凭借其强大的影响力,进一步推动了 AI 视频的大众化。OpenAI 曾将 Sora 2 形容为视频领域的 "GPT-3.5 时刻 "。三年前,正是基于 GPT-3.5 的 ChatGPT 首次面世,掀起了新一轮 AI 浪潮。那么,剩下的问题是:人类做好准备迎接 Sora 2 时代了吗?

眼见不再为实,AI 视频进入 " 社交时代 "

AI 产品经理 Keith 是第一批试用 Sora App 的用户,但没过几天,他就对这款新应用失去了兴趣,几乎很少再打开。最令他感到 " 生理不适 " 的,是那些主打 " 真实向 " 的 AI 视频。画面中的街景和人物几乎与社交媒体上的日常 Vlog 无异,让人很难分辨出哪些是实拍的、哪些是 AI 生成的。

" 人类的生存本能之一,是要分辨信息的真假,但这些 AI 视频在疯狂挑战这个本能。"Keith 对蓝鲸科技记者表示。" 在 Sora 里看到的所有东西都是假的,会让人一直很疲惫,就像被丢进一个《楚门的世界》里。"

图片来源:Sora 截图

AI 安全公司瑞莱智慧 RealAI 联合创始人、算法科学家萧子豪告诉蓝鲸科技,人类千百年来的传统认知是 " 耳听为虚,眼见为实 ",即 " 二手信息真伪难辨,一手信息才真实 "。而如今,这一认知在 AI 时代受到了极大的挑战甚至颠覆。随着 AI 技术的持续迭代,这类内容变得越来越逼真和易于使用,人类的肉眼和耳朵已无法辨别一手信息的真伪。

就 Sora 2 模型而言,OpenAI 称其在物理准确性、逼真度和可控性方面均超越前代模型。例如当运动员投篮不中时,上一代视频模型为执行指令可能会扭曲物体或现实,导致球突然传送到篮筐。而在 Sora 2 中,球会从篮板反弹,其遵循物理定律的能力得到显著优化。此外,Sora 2 还是继谷歌 Veo 3 后的又一款音视频生成模型,支持对话与音效同步。

在前述 AI 产品经理 Keith 看来,除了生成时长和视频效果等方面的优势,Sora 2 的火爆还与产品层面的设计相关。初期该模型采取免费开放的模式,并提供充裕的初始配额供用户自由探索其功能。所有用户都可以在 App 和网页版上生成最长 15 秒的视频,专业版付费用户则可生成最长 25 秒的视频。其次,Sora App 还内置了类似抖音等短视频平台的信息流,会结合用户的 Sora 动态、ChatGPT 数据等信息,提供个性化的推荐内容。

Sora 并非第一款采用信息流模式的 AI 视频类应用。9 月底,Meta 同样在其 AI 应用中推出视频信息流功能 Vibes。用户在浏览时会看到不同创作者生成的 AI 视频,随着时间推移,信息流会逐渐根据用户兴趣进行个性化推荐。成功打造出抖音的字节跳动也在自家 AI 内容平台即梦中引入了视频流机制,用户在刷视频时还可以进行评论、点赞等互动。

图片来源:即梦 AI 截图

在这些想成为 "AI 版抖音 " 的应用中,Sora 显然取得的反响是最大的。其中一个原因在于它推出的客串(cameos)功能,支持用户在生成的视频片段中放入自己、朋友或任意动物的形象。同时,用户还可以和 Sora 应用中的好友一起创建、编辑和分享视频内容。OpenAI 称,在所有主要平台都在逐渐淡化社交图谱的时期,cameos 将强化社区感。

"Sora 用关系替代了质量门槛,让内容更容易被消费。"AI 创业者陈锴杰在社交平台上表示," 当内容发生在朋友之间时,质量不再是唯一标准。哪怕生成结果并不完美,朋友间的互动本身就足够有趣。"

也有大模型从业者指出,随着 AI 的发展,内容的创作与分发必然会发生本质改变,而 Sora 已经迈出了第一步。它提出的一个大胆假设是,只要门槛做到足够低,每个人都可以成为创作者,而内容的消费者也可以是所有人。

" 以假乱真 " 后,Sora 的溯源攻防战

当用户第一次登入 Sora App 时,会看到一句提示语:您即将踏入由 AI 生成内容构建的创意世界。Sora 会提醒用户,尽管一些视频中出现的是认识的人,但其行为和事件并非真实的。在 Sora App 上,人们尚且能够意识到,一切都是 AI 生成的。但随着这些内容从 Sora 流向其他社交平台,它们便逐渐与真实的视频混杂在一起,使人真假难辨。

对普通用户来说,辨别 AI 视频最简单的方法,就是查看视频是否带有 Sora、即梦 AI 等水印标识。OpenAI 在推出 Sora 2 时专门介绍称,使用 Sora 生成的每一段视频都带有可见和不可见的溯源信号。除了明显的水印外,生成的 AI 视频还内嵌了行业标准签名 C2PA 元数据。此外,OpenAI 也开发了内部反向图片和音频搜索工具,能够高精度地溯源来自 Sora 的视频。

然而,互联网上已开始兴起各种去除 Sora 水印的手段。蓝鲸科技记者查询发现,只需将 Sora 生成的 AI 视频上传到某些在线工具或平台,不到一分钟即可去除 Sora 的三处水印。在国内二手交易平台上,也有商家提供 " 人工代处理水印 " 服务,15 秒左右的视频报价约 3-4 元。

图片来源:二手交易平台截图

瑞莱智慧 RealAI 联合创始人、算法科学家萧子豪表示,这些去除手段主要针对显式水印。一些用户希望将 Sora 2 生成的图像或视频作为短视频创作素材,而显式水印会影响传播效果,因此有去除水印的急切需求。不过他也强调,去除显式水印后仍有几率通过其他方式进行溯源,例如基于模型指纹的溯源,即模型在生成内容过程中留下的 " 隐性特征 "。

中科睿鉴数字合成内容检测专家葛星宇向蓝鲸科技介绍称,OpenAI 所采取的 " 内嵌元数据 + 可见标识 + 后端检索 " 的溯源组合是一种 " 主动防护 " 框架,学术界与产业正积极推动此类方案。在很多情形下,后端的指纹、反向搜索会比元数据更抗破坏。但若内容经过重合成、翻译渲染或极端变换等大幅改动,匹配可信度也会下降。

"AI 视频的侵权或违法问题,涉及复杂的法律责任链条。责任分配并非一刀切,一般可以包括内容生成者、平台运营者、模型开发者。" 葛星宇强调。其中,模型开发者的责任认定最具争议,通常认为该主体不为工具的滥用负责,除非存在重大过失。溯源工作通常由受害者、执法机关发起,并要求平台和开发者提供技术协助。

以中国对 AI 生成合成内容的治理为例,国家网信办等四部门联合发布的《人工智能生成合成内容标识办法》,今年 9 月 1 日起正式施行。" 标识办法 " 明确,服务提供者有义务确保其生成的内容符合标识要求,并在生成内容时主动添加标识。平台则要在内容上架或上线时进行审核,对未标识或疑似生成内容添加风险提示。

面对市场的快速反馈,Sora 2 上线几天后,OpenAI CEO Sam Altman 在个人博客中表示,这让他想起了 ChatGPT 早期的日子。他还预告称,Sora 产品将会有非常高的变化频率。" 我们会做出一些不错的决定,也会有一些失误,但我们会快速收集反馈并修正失误。"

蓝鲸财经

蓝鲸财经

蓝鲸财经,专注财经新闻报道、财经事件解读。

订阅

觉得文章不错,微信扫描分享好友

扫码分享

热门推荐

查看更多内容