龙空技术网

我的视频+你的视频+导入软件,揭秘AI视频换脸过程

汉中行动派 266

前言:

现时咱们对“手机本地视频换脸”大概比较注意,大家都需要了解一些“手机本地视频换脸”的相关内容。那么小编同时在网上汇集了一些关于“手机本地视频换脸””的相关文章,希望兄弟们能喜欢,朋友们快快来学习一下吧!

前段时间,一个视频换脸App引发了公众对个人生物信息安全问题的极大关注。视频换脸是如何实现的,这样的技术会带来什么?在给用户提供娱乐的同时,可能会带来什么样的风险?本期《好奇心》,一起来关注人工智能(AI)、大数据以及5G网络技术大背景下个人生物信息保护问题。

■实验时间:9月16日

■实验地点:西安电子科技大学科技楼

■实验人员:博士研究生郝毅、华商报记者

■实验顾问:西安电子科技大学通信工程学院ISN国家重点实验室教授、博士生导师王楠楠

>>实验

谁动了我的“脸”?

■操作

手机拍摄两段小视频

数小时后实现“换脸”

视频换脸究竟是如何实现的?

在西安电子科技大学,博士研究生郝毅现场向华商报记者演示了这种视频换脸技术。

首先,郝毅和记者用手机各拍了一段十几秒的视频,两人对着镜头各自随意说了几句话。

随后,两段视频被导入电脑后,郝毅打开电脑上的一个软件,先后提取了两段视频中含有人物形象的每一帧静态画面中的人物面部图像,放到两个文件夹。郝毅介绍,视频是由一帧一帧连续变化的静态图像构成,尽管拍摄的视频只有短短十几秒,但两个文件夹中提取的面部图像帧数都在四百张左右。

接下来,点击选择生成方式并进行相应操作后,便开始了人工智能模型(AI模型)的训练过程。软件界面上开始成排、成列地出现记者和郝毅两人的面部图像,经过一系列的“训练”,这些图像最终呈现出两个人面部的混合特征。整个“换脸”过程,从上午10:50进行到下午3时才完成。最终生成的视频中,合成“人像”的身上还是记者的着装,但却有着郝毅的面部特征。此外,说话声音、面部表情、嘴型变化及发型,基本都和记者一致。

记者将这段视频拿给身边同事看,大家都觉得很惊讶,总的感觉是既熟悉又陌生。

■揭秘

面部被有意训练和代换

导致“A的表情B的脸”

郝毅介绍,视频换脸也可以说是一种人脸重构或生成技术。它由两个结构相同的子系统组成,每个子系统分别包含一个编码器和一个解码器。把一张人脸图像输入到编码器后得到一堆数据,把它们通过解码器解码就会重新生成一张人脸图像。在这个过程中可以对人像进行扭曲。

把A、B两人的人脸信息分别输入编码器后,然后再分别通过解码器就可以重新生成各自的图像。在这个过程中,编码器是不分A、B的,完全用的是同一个编码器;但到了解码器这块,解码器A由人脸的特征数据只能生成A的人脸图像A,解码器B则只能将特征数据解码为B的人脸图像B。

这时,如果把经过编码的A的面部图像数据输入到解码器B,由于解码器B只能将特征数据解码为B的人脸图像,最终就会生成一个跟A的面部图像表情类似的B的人脸图像。

当把视频中每一帧A的脸都换成B的脸,全部串联起来就会生成一个新视频,在这个视频中,就会是A的声音和着装,却是B的脸。当然,相同的原理,也可以把B的脸换成A的脸。

“和一些图片制作软件对静态图片进行的修改对比,这种技术不但用B的脸换掉了A的脸,同时还会把A的表情及嘴型变化等面部信息也都融合呈现在B的脸上,所以在换脸视频中,人物表情和嘴型都是自然变化的。如果做得足够精细,很难一下子看出破绽。”郝毅说。

不过被公众高度关注的换脸App,按其功能介绍,只需一张照片就可以很快实现换脸,这是为什么?

郝毅介绍,从原理来讲应该是一样的,但作为商业化的产品,该App应该是对算法进行了优化,对模型进行了改进。那些已有的视频模板相当于已经训练好的模型,而其编码器还可以用已有图像对人脸进行“训练”。人数足够多的话,利用大量的人物面部图像可以训练出很好的编码-解码系统。当你提交一张清晰的正面照给App,后台只需要使用这张正面照片对模型进行微调,即可完成换脸的操作。

>>安全

被盗用脸部ID有多可怕?

据媒体报道,2017年12月,国外一ID名为“deepfakes”的某网络论坛用户首次将自己制作的AI换脸视频发布在了网络上,这也是人类首次见证AI换脸技术的强大。当时,该用户把情色电影里的女主角换成了好莱坞明星。随后,由于大量受害者投诉,论坛迫于压力封杀了该账号,不过这次封杀却让“deepfakes”直接开源了其AI换脸项目的代码。

是否“换脸”咋鉴别?

■负影响。很显然,如果该技术被不法分子利用,很可能成为其进行敲诈勒索等犯罪行为的工具。据媒体报道,目前AI换脸黑产已形成完整产业链。西安电子科技大学通信工程学院ISN国家重点实验室教授、博士生导师王楠楠认为,这些情况应该引起相关部门的特别重视。

■正作用。“这种技术在电影制作方面也曾经有过正面案例,比如一名电影演员在拍摄中途去世,后来使用这种技术完成了整部电影的制作。”王楠楠教授认为,假的东西用对了地方也会产生正向的作用。

■咋鉴别?王楠楠教授提醒,从实验过程来看,肤色、人种以及性别的差异都会影响到换脸的效果。而换脸过程仅针对人脸检测器检测到的方形区域进行变换,因此在额头、下巴、耳朵等区域由于肤色差异或光照影响,会产生一些不自然的纹理,同时脸型差异也会影响到换脸后拼接的效果。所以,这些都可以作为鉴别视频真假的办法。同时从技术层面来说,目前已开始发展反合成视频算法的研究,可以实现通过技术手段鉴别是否为合成视频。

■防盗用。由于这种技术的出现,需要大家特别注意的是,在网络环境种尽量不要上传自己清晰的正脸照片,防止被非法盗用。个人用户在使用软件合成进行娱乐时,应当注意使用合法的、被相关法律法规约束的商业软件,防止自己提供的照片或合成的被盗用。

如何保证公民个人生物信息安全?

大数据提供海量资源,人工智能使数据分析处理变得更加高效和智慧,5G网络使得万物互联变为现实……在如今技术飞速发展的背景下,面容、声音、指纹、虹膜、基因等,这些对每个人来说都至关重要的生物信息,都可能在个人毫不知情的情况下被采集、被使用。对此,究竟该怎么做才能保证公民的个人生物信息安全?

西安交通大学苏州信息安全法律研究中心主任、陕西法学会信息安全法学研究会会长马民虎教授表示,“在打击暴恐犯罪、追查犯罪分子时,让执法机关使用人脸识别等新技术有利于及时破案,有利于将犯罪分子绳之以法,从而维护社会稳定和谐,这种场景下使用这些技术是值得鼓励的。然而在商业活动中,如果不能合法、合理地使用新技术,就可能导致技术滥用,从而带来不利后果。我们需要让企业承担起相应的责任。使用技术过程中所引发的问题,应当由技术加以解决。这一观点已经在欧洲引起共鸣。欧洲社会已达成共识,企业在使用技术的同时,必须对技术进行监督和控制,以保障技术的安全性。企业不能只享受技术所带来的利益,却将风险转移给社会,让公众承担风险。”

“目前最迫切的问题是对技术使用场景进行分类和规范。比如,酒店能否使用人脸识别技术?它对迅速办理入住手续到底有多大作用?它和机场、高铁等交通部门使用这种技术有何区别?有关部门应该认真研究不同场景下使用技术的利弊和风险何在,使用和限制的边界何在。”

兜售个人生物信息的现状也要特别注意。一般来讲,我国明确规定不允许收集个人信息来进行买卖,但是出于开展业务的需要可以收集个人信息。这些收集的个人信息如何利用,如何保存,何时可以转让给第三方,都需要进行仔细考量。

此外,立法的同时也需要考虑当前技术发展的实际情况。当前,网络安全法及其配套法律都已逐步落地,但和技术的结合度不够,使很多规定不能落实。

例如,企业可以利用技术采集大量的个人生物信息,但未明确采集信息时所应履行的义务及履行义务的方式。这类问题需要法律明确规定,需要用强制性手段来解决。

当前大家关注的是面容、声音、指纹等这些个人生物信息。现在,美国已立法对可以利用和限制利用基因信息的范围进行了明确规定。

参考美国的做法,我们也可以对面容、声纹、指纹等生物信息的利用进行规范,从法律上对可以和限制使用的场景进行明确规范。

>>相关

美国已刮起“反AI换脸”热潮

担心篡改照片会被用来扰乱明年总统大选

自从AI换脸技术出现,“眼见为实”这个一直以来被人们奉为信条般的生活经验可能面临崩塌。

该技术仍在进一步发展。网络展示的国外换脸视频显示,在一期视频访谈节目中,嘉宾的脸不断改变,但因变得太自然,竟让人看不出来究竟变了几次,甚至直到看完视频也不能确定访谈嘉宾究竟是谁。

美国加州大学伯克利分校一位计算机科学教授表示,随着用于制造AI换脸视频和图像技术的进步,其正变得越来越难被发现。而制造deepfakes的人一直在不断地适应各种检测技术。“deepfakes的危险性很大,在极端情况下,一个deepfakes视频或图像有可能引发军事冲突或其他现实生活中的动荡。”

在美国,已经刮起“反AI换脸”热潮。据华尔街日报报道,一些企业、政府机构和学术界都在与所谓的“deepfakes”作斗争,他们担心被篡改的视频和照片会被用来扰乱明年的美国总统选举。

学术界、政府机构和一些企业纷纷研究推出自己的图像、视频验证、标记技术,例如有的技术能在拍摄照片或视频的时候自动添加时间、位置等信息,他们希望通过这些技术能够对抗AI换脸视频、图片带来的威胁。据媒体报道,美国国防部近期也正在研究一项图像鉴定技术,该技术可用于检测照片或视频在制作后是否被篡改。

华商报记者 马虎振 文/图

标签: #手机本地视频换脸