|
Soul App发布《2026年第二季度生态安全报告》,重点介绍全新上线的分层AI图文识别体系,同时完整展示AI反诈、假账号整治、全场景内容治理、私聊防护、未成年人保护、用户安全宣教等配套安全治理工作,依靠技术手段维护社区内容真实度。 Soul App设计“元数据识别—外显标识识别—人像识别—AI图识别”四层递进识别链路,专门针对AI生成人像、虚假生活场景、盗图搬运内容开展筛查,识别流程在后台异步运行,不会阻塞用户发帖、不影响内容正常展示,仅在命中虚假素材后推送中性提示,告知用户当前内容为AI生成或疑似盗图,提升用户对线上内容来源的知情度,不限制正常使用AI工具进行社交表达。 这套AI图文识别能力与平台全域风控体系深度联动,搭配反诈Agent、批量黑灰产识别工具形成完整管控闭环。反诈Agent针对杀猪盘虚假人设账号综合判定,识别准确率达93%以上;批量作弊账号前置处置率由上线初期的约30%提升至60%,压缩违规账号存活周期。二季度平台依托整套AI风控能力,累计处置三万余个假人设违规账号,清理八万余条盗图、AI虚假人设相关帖子,从图文、账号双重维度遏制虚假社交信息传播。 针对广场、群聊、私聊全场景违规图文内容,Soul App落地精细化治理方案,整治低俗擦边、引流、辱骂、诱导消费类图文信息。二季度机审直接拦截400万条违规内容,处置726万条违规跟帖评论,拉黑3723个违规设备,专项处置3.2万个消费托风险账号,日均清理13万余条低质图文内容,每日向2533名用户推送社区文明规范提醒。 私聊场景大量虚假AI图文常被用于骚扰、诈骗,Soul App配套升级女性用户私聊隔离机制,自动拦截搭载虚假AI图像的骚扰消息,限制恶意账号反复接触用户。二季度日均隔绝3099次网暴、骚扰行为,每日处置1737个私聊违规用户,19.9万次引导用户文明沟通。 平台同步强化未成年人保护,新增未成年人发帖AI自动审核功能,未成年人主动识别率超99%,借助AI图文识别筛查不适宜未成年人的虚假、不良图文,提前阻断风险内容触达青少年。同时官方账号“风纪球长”公示AI虚假人设、诈骗相关处罚案例,安全科普内容累计触达47万用户,帮助用户辨别AI伪造图文陷阱。 后续Soul会持续迭代AI图文分层识别精度,联动反诈、私聊防护、未成年人保护各项安全模块,持续跟进新型AI虚假素材风险,完善覆盖图文、账号、互动、设备的全链路治理框架,平衡AI创作自由与社区真实安全,打造可信、友善的线上社交社区。
|