随着人工智能技术加速融入互联网平台治理实践 ,AI 正成为提升内容识别效率、风险研判能力和生态治理精细化水平的重要支撑。与此同时 , 社交平台面临的风险形态也在持续演变 , 黑灰产作弊、虚假人设、诱导消费、私聊骚扰等问题呈现出更强的隐蔽性和链路化特征 , 对平台治理的及时性、准确性与系统性提出更高要求。
近日 ,Soul App 发布《2026 年第二季度生态安全报告》。报告显示 , 二季度 ,Soul 进一步将 AI 技术应用于反诈、违规内容处置、群聊与私聊治理、未成年人保护等环节 , 推动风险识别从单一内容审核向账号、行为和社交链路的综合研判延伸。
针对黑灰产账号批量注册、快速发布和频繁变换内容等特点 ,Soul 在原有安全审核能力基础上 , 进一步增强了对批量作弊行为的识别能力 , 将更多风险内容拦截在进入社区传播链路之前。经过持续优化 , 相关策略的风险内容处置率由上线初期的约 30% 提升至 60%, 进一步缩短了黑灰产账号在平台内的活动周期。
在诈骗风险治理方面 ,Soul 重点加强对 " 杀猪盘 " 相关账号和行为的识别。相较于依赖固定关键词的传统审核方式 , 新能力能够结合账号特征、互动行为和内容语义进行综合判断。目前 , 相关 Agent 能力准确率已达到 93% 以上 , 为高风险账号的前置发现提供新的技术支撑。
与此同时 , 平台继续治理盗用他人图片、虚构身份以及批量搬运人设内容等问题。二季度 ,Soul 累计处置假人设违规账号 3 万余个 , 识别并处理相关帖子 8 万余条 , 减少虚假身份内容对真实社交体验的干扰。
在二季度 ,Soul 继续围绕广场、群聊和私聊等主要互动场景完善治理策略 , 重点处置低俗擦边、有偿交友、攻击辱骂及违规引流等内容。报告显示 , 平台二季度通过机审直接拦截违规内容 400 万条 , 处置相关跟帖评论 726 万条 , 累计拉黑违规设备 3723 个。与此同时 , 平台日均向 2533 名用户进行社区规范和文明表达提醒。
对于影响社区内容质量的低俗、攻击性和引流信息 , 平台通过识别、审核和流量限制等方式进行综合处置 , 日均处理相关低质内容超过 13 万条 ; 针对以虚假邀约、诱导线下消费为主要特征的 " 消费托 " 风险 ,Soul 在二季度上线专项自动化治理策略 , 累计处置相关风险账号约 3.2 万个 , 降低用户因虚假社交关系遭遇诱导消费的可能性。
与公开内容相比 , 私聊中的骚扰和不友善行为通常更加隐蔽 , 也更容易给用户带来持续性的负面体验。二季度 ,Soul 重点优化了面向女性用户的私聊保护机制。
平台根据消息内容、互动频率和账号行为 , 对疑似骚扰信息进行风险隔离 , 减少低质信息直接触达用户。对于在不同社交链路中反复接触女性用户的不友善账号 , 平台则通过多场景联动策略限制其持续触达 , 在尽量不影响正常沟通的前提下 , 降低骚扰风险。
二季度 ,Soul 日均帮助用户隔绝网暴和频繁骚扰 3099 次 , 日均处置存在私聊不文明行为的用户 1737 个 , 并通过产品提示日均引导用户文明发言 19.9 万次。
完善 AI 生成内容提示
在将 AI 用于生态治理的同时 ,Soul 也在完善社区内 AI 生成内容的识别和提示机制。针对 AI 人像、虚假生活场景以及疑似盗图内容 , 平台综合分析图片元数据、外显标识、人像和图像特征 , 对可能影响真实社交判断的内容进行分层识别。在识别到相关特征后 , 平台将通过中性提示帮助用户了解内容属性。
相关识别过程在后台完成 , 不影响用户正常发帖和内容展示 , 重点在于提升用户对内容来源的知情度 , 而非限制正常使用 AI 辅助表达。
除技术治理外 ,Soul 还通过处罚公示、安全科普和社交礼仪倡议等方式 , 提升平台治理规则的透明度。二季度 ,Soul 官方账号 " 风纪球长 " 持续发布生态安全相关内容 , 围绕低俗内容、不实信息、恶意引战等问题公开典型案例 , 并开展安全规范、社交礼仪和网络辟谣宣导 , 累计触达用户 47 万人。
通过技术识别、产品干预和用户教育相结合 , 平台在处置违规行为的同时 , 也进一步推动友善表达和文明互动成为社区共识。
未成年人保护进一步强化
二季度 ,Soul 进一步强化未成年人保护机制 ,Soul 新增了针对未成年人发帖内容的 AI 审核能力。系统在内容发布环节辅助判断账号是否可能属于未成年人 , 并结合未成年人安全标准识别相关风险 , 提升平台主动发现问题的效率。
目前 , 平台主动识别未成年人的比例已超过 99%, 在此基础上 ,Soul 将持续完善未成年人身份识别、内容审核与风险干预之间的协同机制 , 根据不同风险场景采取相应保护措施 , 推动未成年人治理由事后处置进一步向主动识别、提前防范延伸。
面对不断变化的网络生态 ,Soul 将始终坚持安全与体验并重 , 为用户营造更加安全、真实、友善、有序的社交环境。
