这两年，各类生成式人工智能，如大语言模型、聊天机器人等给人们带来了新鲜的体验和很大的帮助。但是人们在惊叹其强大的同时，也发现这些AI会虚构、造假与欺骗。比较典型的是，有人向AI询问“自己”，结果一眼就找出了不少谬误。
近日，福建省福州市某科技公司法人代表郭先生10分钟内被诈骗分子利用AI换脸诈骗430万元。主要原因是郭先生基于已有和对方伪装的“好友”视频聊天的信任，且对方表示只想公对公账户过账，并已将银行转账截图发了过来，郭先生就直接转账了。
随着技术的不断进步AI应用场景越来越丰富“一键换脸”，和喜爱的偶像合影大叔通过AI技术秒变萝莉御姐“AI孙燕姿”刚“出道”就爆火……曾经离我们很遥远的AI如今正迅速进入大众生活需要注意的是骗子也盯上了AI技术利用它玩起了“真假美猴王”和你视频对话的可能不是本人近日包头警方发布一起
界面新闻记者 | 吕雅萱界面新闻编辑 | 翟瑞民接通微信视频电话，你是否会怀疑屏幕对面说话的“好友”实则是个AI换脸的陌生人？2023年5月8日，内蒙古自治区包头市公安局微信公众号“平安包头”发布了一起使用“AI换脸技术”进行电信诈骗的案件。
新京报贝壳财经讯 3月27日，抖音安全中心发布消息称，去年，抖音发布《关于人工智能生成内容的平台规范暨行业倡议》，明确平台不鼓励利用AI生成虚拟人物进行低质创作，将严格处罚违规使用AI生成虚拟人物发布违背科学常识、弄虚作假、造谣传谣的内容。
近期多个基于真人形象训练而成的AI模型在互联网上流传，可快速生成大量虚假图片；南方都市报调查发现，已有人在闲鱼平台兜售相关模型及其训练服务，小红书上甚至已有账号利用AI生成图像假扮真人（相关报道）。针对其带来的安全风险，国内其实早已布局相关法规。
抖音安全中心2024年3月27日通报称，去年，抖音发布《关于人工智能生成内容的平台规范暨行业倡议》，明确平台不鼓励利用AI生成虚拟人物进行低质创作，将严格处罚违规使用AI生成虚拟人物发布违背科学常识、弄虚作假、造谣传谣的内容。
近日，包头警方发布的利用人工智能（AI）实施电信诈骗的典型案例引起了社会各界的强烈关注。骗子通过AI换脸技术，使福州市某科技公司法人代表郭先生10分钟内被骗430万元。随着人工智能技术的不断发展，利用新技术进行诈骗的“招数”也在升级加码，而且成功率极高，让人防不胜防。
3月26日，抖音安全中心再次发布关于AI生成虚拟人物的声明称：去年，抖音发布《关于人工智能生成内容的平台规范暨行业倡议》，明确平台不鼓励利用AI生成虚拟人物进行低质创作，将严格处罚违规使用AI生成虚拟人物发布违背科学常识、弄虚作假、造谣传谣的内容。
人来人往的闹市，喧嚣的游乐园，静谧的湖畔林间，三位身处不同场景的女性，都拿着手机等待着与自己的AI伴侣见面。在电影《我的AI恋人》中，身处逐渐虚拟化的世界，人们面对爱与被爱的选项时，均发生了巨大的改变。
3月27日，“抖音安全中心”微信公号发布《抖音关于不当利用AI生成虚拟人物的治理公告》：去年，抖音发布《关于人工智能生成内容的平台规范暨行业倡议》，明确平台不鼓励利用AI生成虚拟人物进行低质创作，将严格处罚违规使用AI生成虚拟人物发布违背科学常识、弄虚作假、造谣传谣的内容。
随着人工智能技术的迅猛发展，AI生成内容已越来越多出现在互联网上，然而对AI技术的不当使用也频频引起社会关注。3月26日，抖音安全中心发布不当利用AI生成虚拟人物的治理公告，指出将严格处罚违规使用AI生成虚拟人物发布违背科学常识、弄虚作假、造谣传谣的内容。
