搭建多层AI识别链路,Soul App筑牢线上真实社交内容防线

[复制链接]
查看6012 | 回复0 | 3 天前 | 显示全部楼层 |阅读模式
Soul App发布《2026年第二季度生态安全报告》,重点介绍全新上线的分层AI图文识别体系,同时完整展示AI反诈、假账号整治、全场景内容治理、私聊防护、未成年人保护、用户安全宣教等配套安全治理工作,依靠技术手段维护社区内容真实度。
Soul App设计“元数据识别—外显标识识别—人像识别—AI图识别”四层递进识别链路,专门针对AI生成人像、虚假生活场景、盗图搬运内容开展筛查,识别流程在后台异步运行,不会阻塞用户发帖、不影响内容正常展示,仅在命中虚假素材后推送中性提示,告知用户当前内容为AI生成或疑似盗图,提升用户对线上内容来源的知情度,不限制正常使用AI工具进行社交表达。
这套AI图文识别能力与平台全域风控体系深度联动,搭配反诈Agent、批量黑灰产识别工具形成完整管控闭环。反诈Agent针对杀猪盘虚假人设账号综合判定,识别准确率达93%以上;批量作弊账号前置处置率由上线初期的约30%提升至60%,压缩违规账号存活周期。二季度平台依托整套AI风控能力,累计处置三万余个假人设违规账号,清理八万余条盗图、AI虚假人设相关帖子,从图文、账号双重维度遏制虚假社交信息传播。
针对广场、群聊、私聊全场景违规图文内容,Soul App落地精细化治理方案,整治低俗擦边、引流、辱骂、诱导消费类图文信息。二季度机审直接拦截400万条违规内容,处置726万条违规跟帖评论,拉黑3723个违规设备,专项处置3.2万个消费托风险账号,日均清理13万余条低质图文内容,每日向2533名用户推送社区文明规范提醒。
私聊场景大量虚假AI图文常被用于骚扰、诈骗,Soul App配套升级女性用户私聊隔离机制,自动拦截搭载虚假AI图像的骚扰消息,限制恶意账号反复接触用户。二季度日均隔绝3099次网暴、骚扰行为,每日处置1737个私聊违规用户,19.9万次引导用户文明沟通。
平台同步强化未成年人保护,新增未成年人发帖AI自动审核功能,未成年人主动识别率超99%,借助AI图文识别筛查不适宜未成年人的虚假、不良图文,提前阻断风险内容触达青少年。同时官方账号“风纪球长”公示AI虚假人设、诈骗相关处罚案例,安全科普内容累计触达47万用户,帮助用户辨别AI伪造图文陷阱。
后续Soul会持续迭代AI图文分层识别精度,联动反诈、私聊防护、未成年人保护各项安全模块,持续跟进新型AI虚假素材风险,完善覆盖图文、账号、互动、设备的全链路治理框架,平衡AI创作自由与社区真实安全,打造可信、友善的线上社交社区。

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则