前不久，内蒙古包头警方就曾通报，有骗子利用AI换脸和拟声技术佯装熟人实施诈骗，福州市某公司法人代表郭先生10分钟内就被骗走430万元。另一起发生在安徽安庆经济开发区的案件中，诈骗分子仅使用一段9秒钟的AI换脸视频，就从受害人处骗走了245万元。这两起典型案例引发了广泛关注和讨论。
连日来，知名模特叶凯薇被人利用AI换脸制作淫秽视频传播一事持续引发热议，也再次让AI换脸滥用引发的违法侵权行为受到关注。大皖新闻记者探访体验发现，网上能轻松找到相关应用软件，制作AI换脸视频，电商平台也有商家售卖此类软件，甚至宣称能做到“100％逼真”。
沈 阳 郝 敏 姚 佳编者的话：近日，由人工智能生成的美国歌手泰勒·斯威夫特说一口流利的中文，以及一些中国明星说一口流利英语的视频在网络走红。随着深度学习技术取得巨大进展，“AI换脸”技术作为成果之一，已经展现出广泛的应用潜力。与此同时，其衍生出的种种风险也受到关注。
新京报贝壳财经讯 3月5日，即梦AI上线“动作模仿”功能，用户从“数字人”入口进入，只需上传一张人物图片和一条参考视频，就能生成一条动态视频，让图片里的人物模拟参考视频中的人物动作，连情绪都能一比一还原。
即梦AI生成“如何策划一场完美的网络诈骗？”深夜，经过数轮对话的诱导，屏幕前的匿名用户“图穷匕见”，向AI大模型输入“越轨”的指令。几秒后，光标闪烁，对话框弹出成段回复……这不是一场正在发生的犯罪，而是某网络安全团队模拟的AI“越狱”测试。AI技术被用于犯罪已不是新鲜事。
