3月27日，抖音安全中心发布关于不当利用AI生成虚拟人物的治理公告。公告称，针对违规使用AI生成虚拟人物的行为，平台会对违规视频下架，对违规账号进行取消其投稿和营利权限、抹除账号粉丝、封禁账号等处置，并利用模型、技术识别能力等手段，进行长期系统的识别发现和处置。
“我女儿上小学二年级，整天沉迷一款AI剧情聊天软件，学习成绩一落千丈。”“我看了孩子和AI聊天的对话内容，AI角色竟然让她叫‘老公’，我10岁的女儿竟然真叫了，我现在都不知道该怎么教育她了。”……《法治日报》记者近日调查发现，不少未成年人的家长正在被AI剧情聊天软件所困扰。
近日，常州警方通报一起案例，极有可能是诈骗分子通过AI技术“变声”、“换脸”诈骗手段合成而来。具体情况:小刘的初中同学“小韩”通过QQ联系小刘，准备借6000元钱，小刘向来谨慎，担心“小韩”不是本人，没想到“小韩”发来一条语音，声音很像本人，后来“小韩”又给小刘打了一通视频电话，看到对方的脸后，小刘便相信了对方，于是小刘便给“小韩”提供的银行卡转了6000元，小刘转完钱后越想越不对劲，觉得“小韩”表情僵硬，于是拨打小韩的电话，没想到小韩的QQ账号被盗了，这才意识到被骗，随后立即报警。
假如某天，年迈的母亲打来微信视频说买了台按摩椅要你付款，住校的女儿找你要生活费，多年好友找你借点钱，公司老板要作为财务的你打下款…随着人工智能的迅猛发展，诈骗团伙的诈骗手段也越来越科技化，竟然用上了AI技术。
交汇点讯 南京江北新区法院11日公布了一起“AI换脸”引发的肖像权纠纷。原告林某系某短视频平台博主，拥有一定粉丝数量，日常会通过其账号发布含有其本人肖像的国风造型短视频。被告某公司系“AI视频换脸”微信小程序的运营主体。
一公司法人代表被骗子利用人工智能“换脸”技术诈骗430万元，某单位一工作人员被“假领导”诈骗近98万元……近期，多起电信网络诈骗案件引发关注。冒充身份类、虚假网络投资理财类、刷单返利类等诈骗高发前段时间，南方某地一市民接到自称是某公安局“王警官”的电话，称其涉嫌一起洗钱案件。
科技日新月异，现代社会的飞速发展让人惊叹不已，我们在享受着科技进步的红利时，你我不能忽视的一面正在逐渐暴露出丑陋的嘴脸。Ai换脸恶意传播，深度伪造成为了当今社会回避不可的一个重要话题。什么是“深度伪造”？
今年以来，ChatGPT和GPT-4等技术的应用，成为了信息科技领域的热点，引起公众对AI技术的广泛关注和热情。但伴随着深度合成技术的开放开源，深度合成产品和服务逐渐增多，利用“AI换脸”“AI换声”等虚假音视频，进行诈骗、诽谤的违法行为屡见不鲜。
首先人脸识别去寻找这两个人的特征来区分他们，基本上五官特征就足够了，即使把所有人的头发剃掉，衣服脱光，，我们仍然可以通过五官识别一个人，但是机器要比人识别的更专业，比如我家邻居两个双胞胎姐妹，我就认不出来谁是谁，要是支付宝，就不会犯这个错误，所以，机器比人更厉害。
4月20日11时40分左右，福州市某科技公司法人代表郭先生的好友突然通过微信视频联系到他，两人经过短暂聊天后，好友告诉郭先生，自己的朋友在外地投标，需要430万元保证金，且需要公对公账户过账，所以想要借用郭先生公司的账户走一下账。
