AI换脸诈骗430万背后：2000余元即可定制一张“想要的脸”靠AI识破骗局暂不成熟

　　AI换脸诈骗430万背后：2000余元即可定制一张“想要的脸”，靠AI识破AI骗局暂不成熟

　　伴随着AI大模型的发展，深度合成技术应用范围越来越广，门槛也越来越低，催生了美颜换脸、影视制作、虚拟主播等应用服务。

　　AI换脸诈骗430万背后：2000余元即可定制一张“想要的脸”，靠AI识破AI骗局暂不成熟

　　近日，AI换脸技术因几例诈骗案的告破引发大众关注。一位包头老板被AI换脸诈骗430万元后，安徽警方又公布了另一起AI换脸导致的诈骗案，涉案金额同样高达百万元。

　　伴随着AI大模型的发展，深度合成技术应用范围越来越广，门槛也越来越低，催生了美颜换脸、影视制作、虚拟主播等应用服务。

　　技术突破还使得换脸后的人物表情、动作细节更为逼真，存在被不法分子恶意利用，制作违法和不良信息，诋毁贬损他人名誉，仿冒他人身份实施诈骗等现象。

　　红星新闻记者注意到，自今年起，市面上涌现出许多以“AI换脸”为宣传标签的软件和网站。由于涉及人脸信息泄露等网络安全问题，该类技术的运用一直是网络安全监管的重点对象，许多换脸软件因而通过短视频平台、社交账号等私密渠道进行资源共享。

　　5月底，红星新闻记者实测发现，以“AI换脸”为关键词在电商平台搜索，显示“没有找到相关宝贝”，但通过类似关键词搜索，依旧可以搜索到相关的换脸技术服务。一名商家向红星新闻记者介绍，目前店铺只支持换大部分国外明星的脸，不含国内明星的脸部模型。

　　另一位商家则介绍，可以提供国内明星换脸服务，软件价格2000元一套，可送一个模型，“模型可以定制，另外加500元一个。”据该商家销售人员说，他们的模型要比网上免费分享的“swapface、表情照相机”效果更好，且操作上简单易学，几分钟便可以学会。

　　此外，该名商家提供了多组套餐供选择：包括单图换脸、实时换脸、全自动换脸等，价格多集中在2000元至3000元每套。对于红星新闻记者提出的侵权顾虑，该商家表示可以进行多个人脸混合的方式，即将使用者本人的脸和明星的脸进行混合，从而降低侵权风险。

　　在某销售网站上，一名软件开发者向红星新闻记者展示了如何将知名女星的眼睛和嘴巴拼接融合到一起，生成全新虚拟数字人的过程。据介绍，该款软件提供了从初级（LV1）到超级（LV4）再到全套（LV5）的不同版本。以初级套餐来说，付费499元可提供软件界面、视频指导、入门级模型、基础指导等，付费2888元，则可得到全套（LV5）等级的视频换脸模型。价格不同，套餐中包含的人脸模型数目也不同。

　　上述软件开发者介绍，软件不仅可以实现视频换脸，还支持直播换脸。“如果你有看中的脸，可以找到某个人的正面、侧面等各种角度视频拿来训练。”该软件开发者同样表示，“如果你想要明星脸，又怕侵权，不想那么像，就可以找几个人的脸放在一起训练，就可以看上去又像又不像，达到明星脸的效果。”

　　由于涉及到个人最重要的生物特征信息——人脸，存在滥用之嫌的AI换脸技术从诞生起就面临着许多争议。近年来多款AI换脸APP在快速爆火后又悄然下架。

　　2019年起，AI换脸技术就风靡全球，2019年换脸技术DeepFake一出现便引发巨大的伦理和法律争议。同年，国内一款名为“ZAO”的换脸社交软件爆火，用户只需要在平台上提交一张自己的正脸照片，便可以替换特定视频段落中的人物，生成包含自己的影视片段。爆火几天以后，该软件就被质疑“霸王条款”过度获取用户授权，使用户拱手相让自己的肖像权，同时明星被侵权的责任也可能由用户承担。几天后该软件被工业和信息化部网络安全管理局约谈后下架。此后出现的如“蚂蚁呀嘿”换脸软件等也重复了类似的命运。

　　近日，红星新闻记者在应用软件平台以“换脸”为关键词进行搜索，发现平台中已新出现多款具有AI换脸功能的软件。以“秀脸FacePlay”为例，其《隐私政策》条款提到：“我们既不会存储也不会与任何第三方共享/处理您的个人面部信息。”进入应用后，该软件再次提示不会保存个人的任何照片，分析完即删除。红星新闻记者以明星的名字进行搜索，几乎没有出现明星相关的视频影像。其用于换脸的视频影像样本几乎都是素人用户。红星新闻记者咨询了该软件的客服，其表示使用该软件制作的视频可以进行娱乐分享，不支持商用。“目前我们软件内上架的视频模板均由原作者授权或者用户自行授权投稿，您可以放心使用。”

　　在短视频平台也有许多相关换脸特效，包括影视片段、明星发布会视频、网红视频等，红星新闻记者点开后没有签署用户协议的提示。在某短视频平台的AI随拍中，提供了许多明星的视频供用户进行换脸。红星新闻记者选择了一段视频并提交照片后，程序提示“15元每周可提供无广告快速制作，看广告则可以免费制作”。看过广告以后，生成的视频左下角出现一行字进行了显著标识，称“该视频由AI技术合成”，右下角提示“该内容仅供娱乐”。就是否会造成人脸数据泄露、人脸诈骗等问题，红星新闻记者询问了该平台客服，对方表示已在生成或者编辑的信息内容的合理位置、区域进行显著标识，建议用户偶尔娱乐，本身被起诉的几率不高，维权方“维权成本比较高”。

　　在直播领域，许多网友也发现多位带货直播博主都长了一张“明星脸”，神似明星杨幂、迪丽热巴、angelababy、佟丽娅等。而在直播过程中，没有出现显著的标识表明主播的脸可能使用了AI合成技术。另外，有些直播也没有对明星名字的明显标识。甚至有网友吐槽，他在直播间提醒商家可能涉嫌侵权后被商家踢出拉黑。

　　针对这一法律问题，多位律师受访时认为，如果对该明星的形象有抹黑，则涉及侵犯名誉权。如果是利用AI换脸技术制作明星的色情视频，则可能涉嫌刑事犯罪。由于让公众误以为是明星带货，还可能涉及欺诈或虚假宣传。另外，被侵权的明星可以要求商家赔偿换脸“明星”带货所得的利润。

　　当人们已经很难用肉眼识别出AI合成痕迹，进而可能被AI诈骗时，有网友想到一个办法：是否可以用AI技术打败AI技术。

　　据了解，国内已有许多科学家在深耕此领域。中科院计算所一团队近年来搭建了国内首个AI识谣平台——睿鉴识谣，通过“睿鉴AI”小程序，利用大数据和AI平台向公众开放了“新闻可信度分析”“图像视频伪造检测”等服务，检测图片视频内容真伪。红星新闻记者上传了几张首次进行AI换脸的图片，被成功证伪。后上传了一段由AI合成的新闻视频，该程序则称AI合成视频为真。可见，目前通过技术识别内容真伪还存在一定的局限。

　　目前，AI换脸技术用于违法犯罪的行为主要集中于换脸淫秽视频盈利、实时换脸诈骗以及换脸直播领域，主要涉及声音合成、AI换脸、转发微信语音、AI程序筛选受害人等。浙江大学网络空间安全学院院长任奎2022年4月接受新华社采访时表示，随着合成技术应用门槛的进一步降低，合成内容已模糊真实与伪造的边界。许多专家担心，科技界针对深度合成技术的识别能力，跑不过“伪造”技术的升级。

　　清华大学教授、博士生导师沈阳也介绍，现在国外有一些AI安全技术雏形，可以自动检测某个图片或视频是否为AI合成，但当前技术还不是太成熟。“技术难点在于，AI生成的数据量太大，检测的算力跟不上，且很多AI内容都经历了多次合成，当前技术难以找到合成特征。”

　　创新工场AI子公司CTO张发恩指出，用AI识破AI是个伪命题。有一种人工智能模型训练方式叫生成辨别对抗训练，在这种训练方式下，有两个AI模型，一个是“造假”模型，一个是辨别模型。同时训练这两个模型，当“造假”模型产出的内容越来越逼真，辨别模型就无法辨别真假。基于这种逻辑，我们无法依靠AI来揭穿AI。

　　北京嘉维律师事务所律师、IT法律专家赵占领表示，根据2023年1月10日起施行的《互联网信息服务深度合成管理规定》要求，深度合成服务提供者和技术支持者应当加强训练数据管理，采取必要措施保障训练数据安全；训练数据包含个人信息的，应当遵守个人信息保护的有关规定；提供智能对话、合成人声、人脸生成、沉浸式拟真场景等生成或者显著改变信息内容功能的服务的，应当进行显著标识，避免公众混淆或者误认。4月11日，国家网信办起草了《生成式人工智能服务管理办法》，提到AI内容必须遵循法律法规等。“从目前来说，如果能够有效落实标识的要求，形成有效的监管体系，可以在很大程度上提前厘清‘AI换脸’所带来的模糊边界。”

　　近日，AI换脸技术因几例诈骗案的告破引发大众关注。一位包头老板被AI换脸诈骗430万元后，安徽警方又公布了另一起AI换脸导致的诈骗案，涉案金额同样高达百万元。

　　伴随着AI大模型的发展，深度合成技术应用范围越来越广，门槛也越来越低，催生了美颜换脸、影视制作、虚拟主播等应用服务。

　　技术突破还使得换脸后的人物表情、动作细节更为逼真，存在被不法分子恶意利用，制作违法和不良信息，诋毁贬损他人名誉，仿冒他人身份实施诈骗等现象。

　　红星新闻记者注意到，自今年起，市面上涌现出许多以“AI换脸”为宣传标签的软件和网站。由于涉及人脸信息泄露等网络安全问题，该类技术的运用一直是网络安全监管的重点对象，许多换脸软件因而通过短视频平台、社交账号等私密渠道进行资源共享。

　　5月底，红星新闻记者实测发现，以“AI换脸”为关键词在电商平台搜索，显示“没有找到相关宝贝”，但通过类似关键词搜索，依旧可以搜索到相关的换脸技术服务。一名商家向红星新闻记者介绍，目前店铺只支持换大部分国外明星的脸，不含国内明星的脸部模型。

　　另一位商家则介绍，可以提供国内明星换脸服务，软件价格2000元一套，可送一个模型，“模型可以定制，另外加500元一个。”据该商家销售人员说，他们的模型要比网上免费分享的“swapface、表情照相机”效果更好，且操作上简单易学，几分钟便可以学会。

　　此外，该名商家提供了多组套餐供选择：包括单图换脸、实时换脸、全自动换脸等，价格多集中在2000元至3000元每套。对于红星新闻记者提出的侵权顾虑，该商家表示可以进行多个人脸混合的方式，即将使用者本人的脸和明星的脸进行混合，从而降低侵权风险。

　　在某销售网站上，一名软件开发者向红星新闻记者展示了如何将知名女星的眼睛和嘴巴拼接融合到一起，生成全新虚拟数字人的过程。据介绍，该款软件提供了从初级（LV1）到超级（LV4）再到全套（LV5）的不同版本。以初级套餐来说，付费499元可提供软件界面、视频指导、入门级模型、基础指导等，付费2888元，则可得到全套（LV5）等级的视频换脸模型。价格不同，套餐中包含的人脸模型数目也不同。

　　上述软件开发者介绍，软件不仅可以实现视频换脸，还支持直播换脸。“如果你有看中的脸，可以找到某个人的正面、侧面等各种角度视频拿来训练。”该软件开发者同样表示，“如果你想要明星脸，又怕侵权，不想那么像，就可以找几个人的脸放在一起训练，就可以看上去又像又不像，达到明星脸的效果。”

　　由于涉及到个人最重要的生物特征信息——人脸，存在滥用之嫌的AI换脸技术从诞生起就面临着许多争议。近年来多款AI换脸APP在快速爆火后又悄然下架。

　　2019年起，AI换脸技术就风靡全球，2019年换脸技术DeepFake一出现便引发巨大的伦理和法律争议。同年，国内一款名为“ZAO”的换脸社交软件爆火，用户只需要在平台上提交一张自己的正脸照片，便可以替换特定视频段落中的人物，生成包含自己的影视片段。爆火几天以后，该软件就被质疑“霸王条款”过度获取用户授权，使用户拱手相让自己的肖像权，同时明星被侵权的责任也可能由用户承担。几天后该软件被工业和信息化部网络安全管理局约谈后下架。此后出现的如“蚂蚁呀嘿”换脸软件等也重复了类似的命运。

　　近日，红星新闻记者在应用软件平台以“换脸”为关键词进行搜索，发现平台中已新出现多款具有AI换脸功能的软件。以“秀脸FacePlay”为例，其《隐私政策》条款提到：“我们既不会存储也不会与任何第三方共享/处理您的个人面部信息。”进入应用后，该软件再次提示不会保存个人的任何照片，分析完即删除。红星新闻记者以明星的名字进行搜索，几乎没有出现明星相关的视频影像。其用于换脸的视频影像样本几乎都是素人用户。红星新闻记者咨询了该软件的客服，其表示使用该软件制作的视频可以进行娱乐分享，不支持商用。“目前我们软件内上架的视频模板均由原作者授权或者用户自行授权投稿，您可以放心使用。”

　　在短视频平台也有许多相关换脸特效，包括影视片段、明星发布会视频、网红视频等，红星新闻记者点开后没有签署用户协议的提示。在某短视频平台的AI随拍中，提供了许多明星的视频供用户进行换脸。红星新闻记者选择了一段视频并提交照片后，程序提示“15元每周可提供无广告快速制作，看广告则可以免费制作”。看过广告以后，生成的视频左下角出现一行字进行了显著标识，称“该视频由AI技术合成”，右下角提示“该内容仅供娱乐”。就是否会造成人脸数据泄露、人脸诈骗等问题，红星新闻记者询问了该平台客服，对方表示已在生成或者编辑的信息内容的合理位置、区域进行显著标识，建议用户偶尔娱乐，本身被起诉的几率不高，维权方“维权成本比较高”。

　　在直播领域，许多网友也发现多位带货直播博主都长了一张“明星脸”，神似明星杨幂、迪丽热巴、angelababy、佟丽娅等。而在直播过程中，没有出现显著的标识表明主播的脸可能使用了AI合成技术。另外，有些直播也没有对明星名字的明显标识。甚至有网友吐槽，他在直播间提醒商家可能涉嫌侵权后被商家踢出拉黑。

　　针对这一法律问题，多位律师受访时认为，如果对该明星的形象有抹黑，则涉及侵犯名誉权。如果是利用AI换脸技术制作明星的色情视频，则可能涉嫌刑事犯罪。由于让公众误以为是明星带货，还可能涉及欺诈或虚假宣传。另外，被侵权的明星可以要求商家赔偿换脸“明星”带货所得的利润。

　　当人们已经很难用肉眼识别出AI合成痕迹，进而可能被AI诈骗时，有网友想到一个办法：是否可以用AI技术打败AI技术。

　　据了解，国内已有许多科学家在深耕此领域。中科院计算所一团队近年来搭建了国内首个AI识谣平台——睿鉴识谣，通过“睿鉴AI”小程序，利用大数据和AI平台向公众开放了“新闻可信度分析”“图像视频伪造检测”等服务，检测图片视频内容真伪。红星新闻记者上传了几张首次进行AI换脸的图片，被成功证伪。后上传了一段由AI合成的新闻视频，该程序则称AI合成视频为真。可见，目前通过技术识别内容真伪还存在一定的局限。

　　目前，AI换脸技术用于违法犯罪的行为主要集中于换脸淫秽视频盈利、实时换脸诈骗以及换脸直播领域，主要涉及声音合成、AI换脸、转发微信语音、AI程序筛选受害人等。浙江大学网络空间安全学院院长任奎2022年4月接受新华社采访时表示，随着合成技术应用门槛的进一步降低，合成内容已模糊真实与伪造的边界。许多专家担心，科技界针对深度合成技术的识别能力，跑不过“伪造”技术的升级。

　　清华大学教授、博士生导师沈阳也介绍，现在国外有一些AI安全技术雏形，可以自动检测某个图片或视频是否为AI合成，但当前技术还不是太成熟。“技术难点在于，AI生成的数据量太大，检测的算力跟不上，且很多AI内容都经历了多次合成，当前技术难以找到合成特征。”

　　创新工场AI子公司CTO张发恩指出，用AI识破AI是个伪命题。有一种人工智能模型训练方式叫生成辨别对抗训练，在这种训练方式下，有两个AI模型，一个是“造假”模型，一个是辨别模型。同时训练这两个模型，当“造假”模型产出的内容越来越逼真，辨别模型就无法辨别真假。基于这种逻辑，我们无法依靠AI来揭穿AI。

　　北京嘉维律师事务所律师、IT法律专家赵占领表示，根据2023年1月10日起施行的《互联网信息服务深度合成管理规定》要求，深度合成服务提供者和技术支持者应当加强训练数据管理，采取必要措施保障训练数据安全；训练数据包含个人信息的，应当遵守个人信息保护的有关规定；提供智能对话、合成人声、人脸生成、沉浸式拟真场景等生成或者显著改变信息内容功能的服务的，应当进行显著标识，避免公众混淆或者误认。4月11日，国家网信办起草了《生成式人工智能服务管理办法》，提到AI内容必须遵循法律法规等。“从目前来说，如果能够有效落实标识的要求，形成有效的监管体系，可以在很大程度上提前厘清‘AI换脸’所带来的模糊边界。”

　　亲爱的用户，“重庆”客户端现已正式改版升级为“新重庆”客户端。为不影响后续使用，请扫描上方二维码，及时下载新版本。更优质的内容，更便捷的体验，我们在“新重庆”等你！

　　①重庆日报报业集团授权华龙网，在互联网上使用、发布、交流集团14报1刊的新闻信息。未经本网授权，不得转载、摘编或利用其它方式使用重庆日报报业集团任何作品。已经本网授权使用作品的，应在授权范围内使用，并注明“来源：华龙网”或“来源：华龙网-重庆XX”。违反上述声明者，本网将追究其相关法律责任。

　　② 凡本网注明“来源：华龙网”的作品，系由本网自行采编，版权属华龙网。未经本网授权，不得转载、摘编或利用其它方式使用。已经本网授权使用作品的，应在授权范围内使用，并注明“来源：华龙网”。违反上述声明者，本网将追究其相关法律责任。

　　③ 华龙网及其新重庆客户端标明非华龙网的确定来源或未标注华龙网LOGO、名称、水印的文字、图片、音频、视频等稿件均为非原创作品。如转载涉及版权等问题，请及时与华龙网联系，联系邮箱：。

　　附：重庆日报报业集团14报1刊：重庆日报 重庆晚报 重庆晨报 重庆商报 时代信报 新女报 健康人报 重庆法制报 三峡都市报 巴渝都市报 武陵都市报 渝州服务导报 人居周报 都市热报 今日重庆

　　华龙网版权所有 未经书面授权 不得复制或建立镜像（最佳浏览环境：分辨率1024*768以上，浏览器版本IE8以上）

　　地址：重庆市渝北区金开大道西段106号10栋移动新媒体产业大厦 邮编：401121 广告招商 传真