人工智能可帮助演员完美配音

好莱坞已经可以利用电脑辅助视觉效果，来帮助老牌演员看起来年轻几十岁，或者让阿诺德·施瓦辛格和威尔·史密斯等动作明星与自己的数码替身作战等等。现在，这种可以学习每个演员声音和面部表情特质的人工智能，使得用新语言为电影和电视节目配音变得更容易了，同时还可以保留原始语言表演的表演细节和声音。

这家总部位于伦敦的初创公司Flawless AI与德国Max Planck信息学研究所的研究人员合作，将能够从2D电影或电视图像帧中数字化捕捉演员表演的技术商业化，并将其转换成3D计算机模型。在训练人工智能学习特定演员的声音和面部表情之后，这家初创公司可以生成原始表演的修改版本，从而改变演员的声音和面部表情，以适应完全不同的语言。

一旦实现了这一步，配音演员的录音就会被输入系统，而图像也会被重新转换为2D。接下来的润色工作则交由一个特效团队来完成。Flawless AI公司公布的剪辑显示，汤姆·汉克斯在电影《阿甘正传》片段中的口型能够与用日语、西班牙语和德语配音的台词实现无缝对接，而杰克·尼科尔森在《义海雄风》中与汤姆·克鲁斯聊天的口型也几乎与法语配音完美同步。斯科特·曼说：“这将改变我们以全球化模式消费内容的方式。”

Flawless AI联合首席执行官兼创始人Nick Lynes表示：“我们将能够欣赏到多种语言版本的电影电视，而甚至不会意识到它们原本使用的语言。语言障碍将会消失，因为人工智能不需要花太多时间就能理解所有的特质。”

其他几家公司一直在使用人工智能为电影、电视节目、广告和其他内容配音，同时保留原有的声音，其中包括Deepdub和Canny AI等以色列公司。但Flawless AI的方法不仅仅是通过重塑演员的嘴动作和面部表情来重做音频，以适应新的语言配音。这很可能是将这类技术商业化的最早的努力之一，而不仅仅是在学术研究论文中所展示的。

创办这家公司的想法源于Lynes和好莱坞电影导演Scott Mann的一次谈话。两人很快在讨论人工智能如何帮助电影和电视节目制作降低某些视觉效果和重拍成本的问题上找到了共同点，这导致他们结成了伙伴关系，并成为了Flawless AI的联合首席执行官和创始人。

除了聘请资深的视觉特效主管等人外，Flawless AI还与德国Max Planck信息学研究所的科学主任Christian Theobalt领导的研究人员合作，该研究小组利用基于深度神经网络的人工智能技术，以数字方式改变演员在同一场景中穿着的服装，基于2D图像生成人脸和头部的3D模型，并基于一个人的单个2D图像创建3D计算机动画人物。

这家初创公司目前可以在通常的电影或电视节目制作时间框架内进行多次配音，也可以在6到10周内完成为老电影配音。它还发现了如何减少人工智能所需的训练时间和数据量，以了解每个演员的所有表演细节。该团队最初使用每部电影或电视作品中所有可用的未经编辑的原始电影片段来训练人工智能，但后来发现了如何更有效地训练人工智能，只需使用这些片段的一小部分。

该公司的联合创始人Nick Lynes说，这个过程不同于“深度伪造”（deepfake）技术，后者是提取名人的面部2D图像，然后用它置于其他人的身体和头部之上。现年46岁的Lynes说：“人工智能技术能够计算出每一位表演者在使用另外一种语言时嘴部动作的特定方式，但会保留他们的独特风格。这就提供了更加真实、更加自然的修改性能 —— 这一点很重要，因为最终结果可能需要在标准的电影院屏幕上显示，甚至需要以巨大的IMAX格式显示。”

Lynes还小心地将Flawless AI方法与deepfake的负面应用区分开来，后者可能会让名人和普通人都陷入尴尬或妥协的视频中。“我们所做的是在得到许可、认可和积极的态度下完成的内容，我们做的是商业化的内容，我们拥有尊重，”Lynes表示。

语言配音应用本身就对好莱坞电影公司产生了重大影响，更不用说Netflix和Disney Plus等流媒体平台，它们正在寻求向尽可能多的观众提供更多的电影和电视节目。Lynes说，Flawless AI已经与一位未透露姓名的客户签署了至少一份合同，并正在与“所有主要的流媒体和大多数主要工作室”商讨可能的交易。

但是，Flawless AI将演员表演数字化的方法，除了能够用多种语言无缝配音最新的电影和电视剧之外，可能还有更大的影响。Lynes解释说，该公司的技术不仅能以数字方式捕捉演员的面部表情和嘴巴动作，还能训练人工智能掌握演员走路步态和身体动作的模式。

这就增加了使用演员的数字替身来修改某些电影场景的可能性，这种方式可以纠正错误，或者更好地达到导演的设想，而不是让演员和剧组重新聚在一起进行昂贵的重拍工作。

Flawless AI还能够以数字方式捕捉给定场景中演员的整个环境和周围环境，这可能会使算法更容易消除错。“有时候在真人世界，现实世界中，很难确保每件事都按照你想要的方式进行，这样你就能完全按照你想要的方式讲述你的故事了，”Lynes如此表示，“因此，AI视觉效果或将在未来为我们提供标准视觉效果流程无法实现的功能。”

往期推荐