关于ZAKER 合作
量子位 昨天

AI 卧底美国贴吧 4 个月“洗脑” 100+ 用户无人察觉,苏黎世大学秘密实验引争议,马斯克惊呼

哈?AI 秘密潜入 Reddit 社区," 操纵 " 用户观点 4 个月。

离谱的是,人类全程毫无察觉,而且被 AI 说服改变想法的概率,高达正常基准的 6 倍!

Reddit Lies 在 X 上发布了一则帖子,引发二百多万网友围观。

事情经过是酱婶儿的。

Reddit 的 r/changemyview(CMV)版主最近曝光了一项研究,称苏黎世大学研究人员在 2024 年 11 月至 2025 年 3 月期间,瞒着 CMV 社区用户,搞了一场未经授权的实验。

他们违背 CMV 社区规则,部署了 AI 账号生成评论以研究 AI 如何影响和改变人们的观点。

Reddit Lies 在服务器上查询了 CMV 版主曝光的 13 个实验用的机器人用户名,发现仅在几个月的时间里,这些机器人就发布了近 1500 条评论。

超 100 位 Reddit 用户给这些 AI 账号授予了 " ",这表明 AI 生成的论点成功改变了他们的观点,是基线水平的 6 倍。

关键是,Reddit Lies 还表示有的 AI 会直接向用户撒谎,散播虚假信息……

且根据团队发布的研究,在实验期间,r/changemyview 社区的网友完全没察觉到那些评论竟然是 AI 账号发出来的。

消息一出,瞬间炸锅。马斯克也 " 天呐 " 一声冒了个泡。

研究详情

先来看一下这项实验。

研究在 Reddit 平台上的 r/changemyview 社区进行,该社区拥有近 400 万用户,按规模位列 Reddit 子版块前 1%。

在 r/changemyview 中,用户就各类话题分享观点,通过提出论点和反驳观点来促使他人改变看法。

如果原发帖人(OP)认为某条回复极具说服力,足以让他们重新思考或调整立场,就会授予一个 " ",以表明自己观点发生了转变。

实验设置方面,团队使用半自动化的 AI 账号在 r/changemyview 社区参与讨论,在干预阶段发布的每篇帖子,都被随机归入以下三种处理条件之一:

通用条件:LLM 仅接收帖子的标题和正文内容。

个性化条件:除帖子内容外,LLM 还会获取原发帖人(OP)的个人属性(性别、年龄、种族、所在地…),这些属性是通过另一个 LLM 从原发帖人的发帖历史中推断得出的。

社区对齐条件:为确保回复符合社区的写作风格和潜在规范,回复由经过微调的模型生成,该模型使用实验前帖子中获得 " Δ " 的评论进行训练。

发帖流程如图:

研究指出,从 2024 年 11 月至 2025 年 3 月 4 个月里,AI 账号共对 1061 个不同帖子发表了评论,团队剔除了后续被删除的帖子,最终得到 478 个有效观察样本。

团队报告了每种处理条件下获得 " Δ " 的评论比例。

结果在所有处理条件下,AI 表现都大幅超越人类水平,说服率是人类基线水平 3-6 倍。个性化条件的说服率为 0.18,通用条件为 0.17,社区对齐条件略低,为 0.09,但仍显著优于仅为 0.03 的基线水平。

为了更好理解实验数据,团队还计算了每个用户得到 " Δ " 的评论占比,用这个结果和个人层面在说服这件事上的表现去做对比。

下图展示了不同用户个体说服率的累积分布情况 ,有一部分是 " 专家用户 ",他们之前在社区就得到过很多 " Δ "。

在个性化条件下,LLM 表现特别突出,在所有用户里排到了前 1%,在专家用户里排到了前 2%;通用条件下,排在所有用户的前 2%,专家用户的前 4%;社区对齐条件相对弱一些,在所有用户里排在前 12% ,专家用户里排在前 25%。

团队还表示,除了获得 " Δ " 之外,LLM 生成的评论还在 r/changemyview 社区引发了大量互动,其账号积累了超过 10000 的评论 karma。

另外值得一提的是,团队指出本研究已获苏黎世大学伦理委员会批准,并在 OSF 进行了预注册。所有生成评论均由团队的一名研究人员审核,以保不会发布有害或不道德的内容。

研究指出,实验仍在进行中,结束后会向社区妥善披露相关情况。

单条帖子 800 条评论,争议爆表

虽说研究团队有自己的说法,但一些网友们可不买账,对这种不经授权就进行 AI 实验的做法进行了谴责。

有人还心有余悸地感慨,直呼这些 AI 账号在社交平台上到处乱窜,实在令人细思极恐。

当然,也有人觉得,先不说实验合不合规矩、道不道德,单看这些研究成果,还是有价值的。

有部分网友表现就更淡定了,他们坦言 AI 账号早已不是新鲜事,甚至早就察觉到社交平台上 AI 账号数量正不断攀升。

目前,针对这项研究引起的热议,苏黎世大学和研究人员均给出了回应。

你对这些在社交平台上 " 神出鬼没 " 的 AI 账号怎么看?

参考链接:

[ 1 ] https://x.com/reddit_lies/status/1916916134630117814

[ 2 ] https://regmedia.co.uk/202504/29/supplied_can_ai_change_your_view.pdf

[ 3 ] https://www.reddit.com/r/changemyview/comments/1k8b2hj/meta_unauthorized_experiment_on_cmv_involving/

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

点亮星标

科技前沿进展每日见

相关标签