每经记者：宋美璐 每经编辑：张海妮

福州某科技公司法定代表人9分钟被AI换脸骗430万元的风波刚过，又有安徽何先生9秒被换脸骗走245万元。

另一边，直播间中，换上杨幂、迪丽热巴等明星脸的主播出现在直播间带货，让观众真假难辨。

(相关资料图)

疑似换脸杨幂的带货主播 图片来源：视频截图

社交网站的演示视频中，手一挥一秒换脸的视频比比皆是，每个人都能用AI制作一段视频，骗子也不例外。

AI音乐、AI绘画、AI换脸、AI换声……不知不觉中，我们每个人都已经走进了赛博世界，不管是抖音中的#一键解锁瞬息全宇宙##一键变妆#等特效的应用还是AI孙燕姿的“消费”，都是AI日常化的见证。

在所有人都在享受技术狂欢的时候，技术的另一面也逐渐显露：伪造技术和鉴别技术好似在玩一场“猫鼠游戏”，最终谁能把握主动权？

可以批量生产的AI换脸，技术门槛有多低？

AI换脸技术并非新事物，早在2019年，一个换脸软件“ZAO”的出现，就曾让AI换脸风靡网络，网络视频平台上出现大量的AI换脸恶搞视频，许多明星因此被恶搞、造谣。

尽管，当时“ZAO”上线不久便因侵犯隐私等问题被下架，但这个由技术带来的负面影响却一直存在，直到今年AI技术的普及使得换脸再次爆发。

瑞莱智慧RealAI联合创始人、算法科学家萧子豪表示，AI换脸、AI换声主要使用的是深度合成技术，随着深度合成技术的开源开放、深度合成产品和服务的增多，深度合成内容制作的技术门槛越来越低，实现了技术的“平民化”，普通人也能用少量图像、音频等样本数据，利用简便易用的合成工具，制作深度合成内容。

萧子豪介绍，目前视频聊天或直播的AI换脸有两种方式：一种是事先做好的换脸视频直接播放，一种是接入实时换脸的视频。第一种方式，目前的制作成本已经非常低，有公开成熟的应用可以支持该项工作；第二种虽然没有发现有公开的应用，但也有非常成熟的技术手段可以支撑。做成一段视频的时间和设备、算力等因素相关，当前技术可以做到和生成视频相等的时间即产出结果。制作这样的视频需要被替换前的原始视频图像和被替换后的人脸图像，基于目前的技术能力，替换前的原始视频图像在面部清晰、正脸无遮挡、无夸张动作等条件下，会展示出比较好的效果。

AI从业人员汤辉也表示，现在的AI换脸对技术的要求非常低，“如果是专门的技术人员，在网上找一个开源的模型，然后先自己搞懂。如果只是采集一段这个人的图像生成视频，很快就能训练出来。20分钟就可以做一个。”

在手机应用商店搜索“AI换脸”可以发现，有不少相关软件，其中faceplay在ios系统的下载量已达24万，该软件有影视角色、写真、漫画等模板。软件采取收费获取模版的形式盈利，周会员17元，年会员398元。也有的软件只需看广告就可以制作。

换脸软件faceplay下载和收费界面 图片来源：截图

电商平台上虽已屏蔽“换脸”等关键词，但通过搜索其他相关词条仍能找到相关内容，售价多在几十元。

某电商平台售卖AI换脸产品的详情介绍 图片来源：网页截图

抖音等短视频也推出简易AI换脸模板，比如换脸跳舞、变脸换装、男女换脸等。记者尝试导入照片后几秒钟便可生成一个视频，但这类视频精度相对较低，偶尔转头还可以看到一些不贴合等漏洞。

此外，许多大型科技公司也在着力布局相关业务，AI概念股万兴科技（SZ300624，股价136.60元，市值188.09亿元）落地了AI换脸、AI抠像、AI降噪、AI音频重组等多项AI能力。据媒体报道，5月25日万兴科技旗下的万兴播爆已全面上线AI数字人定制服务，支持数字人形象定制、声音复刻和视频模板定制。用户只需录制一段6分钟左右的视频和20句有效音频语料素材，便可生成“真人”“真声”专属数字人。

“目前AI已经可以批量制作大量的视频，制作多段替换成同一人物的视频，也可制作同时替换为多位人物的视频。”萧子豪说。

为AI打标记，一场“猫鼠游戏”

“技术只会发展得越来越快，也许你现在能看出来是AI，还是真人，但是半年后，一年后呢？”汤辉认为AI技术发展太快，但是现实生活中了解AI的人又太少，进而导致诈骗频繁发生。

萧子豪也表示，目前深度合成技术在不断进化，生成的声音和视频越来越逼真，普通人肉眼鉴别的难度也越来越高。

据媒体报道，微软首席技术官（CTO）凯文·斯科特在当地时间5月23日开幕的Build开发者大会前夕接受采访时曾表示，微软3年来一直在研究“媒体来源系统”——在AI生成的内容里放置加密水印，可以使用软件解密水印以获取来源信息，以检测虚假信息。

从技术上来看，萧子豪介绍，他们一直在研究深度合成技术的自动化检测，常用的方法包括基于伪造内容数据集完成对模型检测器的训练、基于帧间不一致性实现对伪造内容的判别等，这些方法在开源数据集中均能达到99.9%的准确率。

“防范的难度在于新型伪造方法层出不穷、网络传播环境日趋复杂，加上基于深度神经网络的检测算法存在结构性缺陷等，反深伪检测技术也面临‘强对抗性’，需要持续更新与迭代优化。”

类似于“猫鼠游戏”，萧子豪说，深度合成和检测在不断学习攻防过程中会自我进化，规避上一代的对抗技术。为了能在对抗攻防中掌握主动权，未来反深伪检测技术的发展需融合多模态内容的取证分析、基于数字水印的溯源技术等多方面能力，实现伪造内容的精准识别，打造可信内容体系。

《互联网信息服务深度合成管理规定》明确要求深度合成服务提供者对使用其服务生成或者编辑的信息内容，应当采取技术措施添加不影响用户使用的标识，对于具有生成或者显著改变信息内容功能服务的，应当在生成或者编辑的信息内容的合理位置、区域进行显著标识，向公众提示信息内容的合成情况，避免公众混淆或者误认。

记者注意到，目前b站已经在一些视频上为AI合成视频打上明显标记，抖音在5月9日发布了关于AI生成内容的平台规范暨行业倡议，倡议各生成式人工智能技术的提供者，均应对生成内容进行显著标识，以便公众判断。同时使用统一的人工智能生成内容数据标准或元数据标准，便于其他内容平台进行识别。

B站AI技术合成标识 图片来源：截图

萧子豪建议，普通人如果遇到有疑问的情况，可以在看视频时有意识地引导对方做一些动作，如：大幅度的摇头或张嘴。如果骗子技术手段较弱，那么就有可能发现对方面部边缘或者牙齿的瑕疵，从而识别出AI换脸。但同时他也表示，这个方法对于识别出“高水平”的诈骗分子，还存在难度。此外，还可以追问几个只有你与借款者之间才知道的私密信息，来核实对方身份。

AI换脸有风险

根据著作权法的有关规定，如果AI换脸使用的是表演者的视频素材，还可能侵犯其著作权。如果是非法使用，例如本案中的行为人冒用郭先生好友的微信，利用AI换脸诈骗，则不仅构成侵权，还涉嫌犯罪。

如果在直播中使用AI换脸服务，直播商家、平台方和技术提供方都将承担一定的责任。尤其根据《互联网信息服务深度合成管理规定》，如果深度合成服务提供者和技术支持者违反规定的，相关部门会给予处罚；构成犯罪的，还要承担相应的刑事责任。

此外，北京市京师律师事务所王荣梅律师团队提醒，关于AI生产的内容版权归属问题，目前也还存在争议。

首先，AI生成的内容是否构成作品就存在争议；其次，在实务中，AI生成物的性质认定也存在争议。所以目前法律没有就AI生成内容的版权作出明确规定，但是在《生成式人工智能服务管理办法（征求意见稿）》第五条中，规定了此类内容侵权的主体责任。即利用生成式人工智能产品提供聊天和文本、图像、声音生成等服务的组织和个人，包括通过提供可编程接口等方式支持他人自行生成文本、图像、声音等，承担该产品生成内容生产者的责任。

“目前，AI还是一个新兴的领域，发展日新月异，在为人们的工作和生活带来便捷的同时，也有不法分子利用此技术从事违法犯罪活动，目前，AI领域的规定散见于民法典、个人信息保护法、网络安全法，尚未形成系统的法律体系。相信随着此技术的广泛应用，法律法规也会不断与时俱进，国家会出台更多的规范措施，逐渐形成完备的法律体系。”王荣梅律师团队说。