- +1
网安科普 | 当AI学会“换脸”“拟声”,我们怎么办?
当AI学会“换脸”“拟声”
如何识破智能时代诈骗新套路
以案说险
国家网络安全宣传周
警惕诈骗守护财产安全
2026年国家网络安全宣传周为9月14日至20日,今年的主题是:网络安全为人民,网络安全靠人民——智能时代 网安护航。
如今人工智能快速走进我们的生活,AI换脸、AI拟声技术,不再只是影视特效。不法分子利用这项技术伪造人脸、模仿声音,制作虚假视频、语音,实施电信网络诈骗,这是当下反诈的新风险。
AI换脸、拟声诈骗案例
案例一:AI换脸攻破实名认证,数万条人脸信息现身“网络黑市”
专案组民警现场查扣的部分手机
犯罪嫌疑人在境外聊天工具上以每条5元到10元的价格购买大量公民个人信息,随后借助境外AI工具,将非法获取的公民照片合成“眨眼”“摇头”等动作,生成虚假动态人脸视频,进而用其注册实名账号。截至案发,警方共抓获犯罪嫌疑人14名,缴获AI合成动态人脸视频5万余个,该团伙已贩卖账号8万余个,非法获利60余万元。
(来源:新华社)
案例二:大学生利用AI换脸盗刷银行卡,获刑一年十个月
大学生吴某在非法网站购买了“AI人脸伪造视频”技术,在境外聊天软件上接单,将上线提供的被害人个人信息中的照片转换为AI动态人脸视频,重置支付密码后盗刷银行卡。在不到四个月的时间里,三名被害人的银行账户先后被盗刷共计5万余元。法院最终判处吴某有期徒刑一年十个月,并处罚金3000元。
(来源:央视新闻)
三招教你辨别真伪
PART01
1
查源头
警惕无明确作者、无正规信源的内容,AI生成信息常伪装成“网友投稿”“内部消息”。看到一个爆炸性消息,转发前先问自己三个问题:谁发的?哪个平台的?有没有权威媒体跟进报道?如果三条都答不上来最好先别转发。
2
看细节 验逻辑
AI生成的内容再逼真,也往往有一些“共同特征”可以捕捉。AI图像:观察手指数量异常、光影不自然等;AI视频:注意口型与声音不同步、背景模糊扭曲AI生成内容还常出现时间矛盾(如“2024年政策”却引用2025年数据)、地名错误等逻辑错误。
3
验身份
根据我国现行的《人工智能生成合成内容标识办法》,所有AI生成的内容都要在醒目位置标注“AI生成”。刷到震撼视频,先看一眼视频角落有无AI标注,避免被AI内容误导。
(来源:央视新闻、公安部网安局)
国家在行动
PART02
涉人工智能监管新规与专项行动
2026年,最高人民法院发布《关于依法审理涉人工智能纠纷案件的意见》,聚焦“AI换脸拟声”“AI幻觉”侵权、“网络开盒”等问题,明确利用AI侵害他人权益的责任追究规则;中央网信办开展“清朗·整治AI应用乱象”专项行动,整治未履行大模型备案、AI数据投毒、生成合成内容标识落实不到位等7类问题,并开设举报专区;国家网信办、工信部、公安部、广电总局四部门联合发布《人工智能生成合成内容标识办法》,要求对AI生成合成内容进行标识并向公众提示。
“AI内容鉴定”功能上线
“国家反诈中心”APP已上线“AI内容鉴定”功能,该功能支持对文字、图片、视频等内容进行AI生成检测。遇到可疑内容,上传鉴定一下,几秒钟就能给出初步判断。
公安部刑侦局指导、上海市公安局自主研发的“国家反诈AI”App也已上线,具备智能问答、反诈资讯、反诈辞典三大功能,通过手机输入可疑场景,立刻拆解诈骗手法。
(来源:最高人民法院、中央网信办、中国政府网、央视一套)
AI换脸、拟声技术不断升级
“眼见为实”面临挑战
电信网络诈骗也出现新变种
面对智能时代的新型风险
多一分警惕、多一次核实
就少一分被骗的可能
网络安全为人民,网络安全靠人民
愿校园清朗、师生平安
共筑智能时代的校园安全防线
来源/ 最高人民法院、中央网信办、中国政府网
原标题:《网安科普 | 当AI学会“换脸”“拟声”,我们怎么办?》
本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问http://renzheng.thepaper.cn。





- 报料热线: 021-962866
- 报料邮箱: news@thepaper.cn
互联网新闻信息服务许可证:31120170006
增值电信业务经营许可证:沪B2-2017116
© 2014-2026 上海东方报业有限公司




