更多精彩，敬请关注硅谷洞察官方网站（）

在电视和电影中，演员们经常会在原本完美的表演中犯些小错，或者漏掉某个关键词。对于编辑来说，目前唯一的解决办法就是接受这些瑕疵，或是出高价补拍修正错误。

但是，想象一下，如果编辑可以用转写的文本修改视频，那么，他们就像处理文字一样，很容易在其中添加单词、删除不需要的单词，或者根据需要拖拽单词重新排列片段，重组出几乎完美的成品视频，这些视频在非专业人士眼中并看不出来任何破绽。

来自斯坦福大学、马克斯·普朗克信息学研究所、普林斯顿大学和奥多比研究院的研究团队研究出一种剪辑画面特写视频的算法，特写视频指镜头在演员肩部以上的画面。

新算法可以让基于文本的肩部以上特写视频剪辑成为可能。

作者表示这项工作对视频编辑和制片人来说可能是件好事，但也会引起人们对网上图像、视频真实性的质疑。然而，他们也提出了一些使用该技术的指导方针，提醒观众和表演者视频是被编辑过的。

斯坦福的博士后学者Ohad Fried说：“不幸的是，此类技术总会吸引那些不好的演员，但是考虑到该技术支持创造性视频剪辑与内容创建应用程序，这些努力是值得的。”

唇语阅读

该软件采用新型转写技术从不同视频片段中提取语言动作，并通过机器学习，转换为让观众看起来自然的成品视频——比如唇形同步等。

有关此项研究的论文第一作者Fried说：“从视觉上看，视频是无缝衔接的，所以也就没必要去重录了”，该论文发表在arXiv网站上，也将在《美国计算机学会图形学汇刊》上发表。Fried在Maneesh Agrawala的实验室工作，Agrawala是工程学院的Forest Baskett教授，也是该论文的资深作者。该项目从2年前Fried还是普林斯顿大学研究生的时候就开始了，他那时与计算机科学家Adam Finkelstein合作项目。

如果演员说错话，编辑可以只编辑文本，应用程序将从视频其他地方的不同单词或单词各部分中组合出正确的单词。这就相当于重写视频，就像作家重新输入拼写错误或不合适的单词一样。然而，该算法至少需要40分钟的原始视频作为输入源，所以它还不能处理视频序列。

当文本被编辑后，该算法就会从录制的视频中选择可以编辑的动作合成新材料，而曾经的编辑方法则会使视频产生不和谐的跳跃或其他视觉缺陷。

为了使视频看起来更自然，该算法对运动参数进行了智能平滑处理，并提供期望结果的三维动画版本。然而，这里描绘出的图像离理想情况还很远。在最后一步，名为Neural Rendering的机器学习技术会把低真实性的数字模型转换成写实的唇形同步视频。

为检测系统的功能，研究者进行了一系列的复杂编辑，包括增添、删除、改变单词，翻译为不同语言，甚至从中创造出完整的句子。

一项有138名参与者参与的众包研究中，该团队的剪辑在60%的情况下都被认为是真实的。剪辑过的视频与原视频的视觉质量非常相似，但Fried认为该技术仍有很大的改进空间。

马克斯·普朗克信息学研究所的学生、该论文的第二作者Ayush Tewari说：“这对电影后期的影响很大。”它首次提出在不重拍前提下修复已拍摄对话的可能性。

伦理问题

Fried补充道，尽管如此，在合成假视频的时代，这种技术也引发了重要的伦理问题。以这种方式编辑视频是有价值且有正当理由的，因为重新录制或修复视频内容瑕疵，或根据观众需求定制视听视频内容，都需要大量的财力人力。例如，教学视频可以根据不同的语言文化背景的听众进行微调，儿童故事也可以根据不同年龄进行改编。

Fried说：“这项技术实际上就是为了把故事讲得更好。”

Fried承认会有人担心这种技术被用于非法目的，但是他认为，风险是值得的。照片编辑软件也经历了类似的争议，但最终，人们还是希望生活在有照片编辑软件的世界里。

Fried说，有几种选择可以作为补救措施。一种是开发某种可选水印，它可以识别被编辑过的任何内容，并提供完整的编辑底账。此外，研究人员可以开发数字或非数字指纹技术等取证技术，确定视频是否被剪辑过。事实上，这项研究及其他类似的研究也为更好地识别被编辑过的视频提供了重要经验。

Fried说，没有一个方案可以解决所有问题，所以观众都必须保持怀疑和谨慎的心态。他补充道，此外还有很多更简单的视频编辑方法。也许最紧迫的事情就是提高公众对视频编辑的意识并增强教育，这样人们就可以更好地质疑、评估合成内容的准确性。

原文作者：ANDREW MYERS

原文链接：

更多精彩，敬请关注硅谷洞察官方网站（）