温网停赛，AI不停赛：斯坦福新研究模拟网球名将打比赛

机器之心

机器之心报道

编辑：陈萍、魔王

今年夏天没有温网冠军，但这不意味着你看不到网球名将们的「新赛事」。

和许多其他顶级体育赛事一样，世界上最古老的网球赛事温布尔登网球锦标赛也是 COVID-19 大流行的受害者。今年 4 月初，温网官方宣布今年赛事取消。

赛事无法照常举行，我们就看不了网球比赛了吗？也不尽然。近日，来自斯坦福大学的研究团队利用 AI 模型逼真地模拟了温网决赛和其他比赛。

目前大量体育分析利用海量比赛视频创建对运动员行为的预测模型，受此启发，斯坦福的这项研究将这种建模方式与基于图像的渲染相结合，构建出可交互控制的视频，来模仿顶级网球职业选手的风格和表现。

例如网球名将费德勒（Roger Federer）和诺瓦克 · 德约科维奇（Novak Djokovic）的对决。这两位在各项赛事中交锋多次，斯坦福大学创建的系统基于他们之前的比赛视频，开启了二人之间的新一轮 battle：

这个系统还能创建一些从未见过的「名场面」，比如费德勒自己和自己打球：

费德勒与小威（塞雷娜 · 威廉姆斯）对战：

除此之外，该系统创建的视频支持交互控制。比如你可以控制网球的落点和运动员击球后的回位：

你甚至可以「修改」之前的比赛，比如 2019 年温网男单决赛中小德与费德勒那场史诗级对决：

斯坦福创建的这个系统可以修改这场比赛中的关键一球，颠覆原来的比赛结果。

更多效果展示，请戳以下视频：

那么，这个系统是如何实现逼真且可交互控制的视频效果的呢？

论文简介

斯坦福大学提出的系统可将带标注的网球比赛视频转换为可交互控制的视频，其中运动员的行为和表现都和职业网球运动员相似。

该论文方法基于可控的视频纹理，以带标注的网球视频数据库作为输入，该数据库的标注为重要的比赛信息，如触球的时间和位置、击球类型等。

研究人员在构建数据库时重点关注温网赛事视频，包括罗杰 · 费德勒、拉斐尔 · 纳达尔和诺瓦克 · 德约科维奇等热门选手的比赛；以及 2018 年和 2019 年温布尔登网球锦标赛上小威廉姆斯对阵西蒙娜 · 哈勒普和卡米拉 · 吉奥尔吉的比赛。

该系统将带标注的温网赛事视频转换为可交互控制的视频。

数据库中每个运动员都有几千个镜头。研究人员利用这些数据点建模位置和击球决策，并构建行为模型，以反映特定球员在球场上的位置以及在特定情况下他们最有可能的击球方式和位置。

利用带标注的击球周期（shot cycle，包括每次击球时从准备、击球到复原的一系列动作）数据库，研究人员构建了运动员行为的统计模型，该模型在击球周期开始时输入「点状态」（point-state），并生成球员的击球选择和回位决策。

shot cycle 示意图。

该行为模型可以选择能够反映真实运动员在给定比赛状况下执行动作的视频片段，并生成新的视频，通过捕获真实场景的策略和倾向来逼真地反映运动员的外观、动作风格以及击球过程。

研究贡献

这篇论文主要有三个贡献：

击球周期状态机：该研究利用网球赛事的领域知识，以击球周期为粒度控制和合成视频，击球周期即在某一时刻，球员为准备、击球和复原所采取的一系列动作。
特定于运动员的、基于数据驱动的行为模型：该模型可以预测球员的球场位置和击球选择，并在视频合成过程中作为控制输入。通过结合视觉质量指标和运动员特定的行为模型，该研究能够创建「逼真的」视频，这些合成视频既可以细粒度地描述球员的外观和动作风格，也能够在宏观层面上捕捉他们的现实比赛策略和倾向。
基于多样化的现实数据渲染高质量视频：该研究提供了一种创建大型单视点真实视频片段数据集的方法，该数据集可用于创建可控制视频系统。该过程涉及：使用神经图像迁移方法，消除不同比赛日和比赛时间运动员的外观差异；当运动员在画面中被部分裁剪时，补齐缺失的像素数据；使新视频渲染结果对计算机视觉技术产生的标注错误具备稳健性（如运动员检测、姿势估计）。

系统架构

下图展示了该研究提出的点合成系统：

系统架构图。

左：离线预处理阶段，准备一个带标注击球周期视频片段数据库，将其作为运动员行为模型的输入，选择符合行为目标的合成视频，并基于它进行渲染。右图：生成新点的伪代码。循环的每次迭代都对应两个运动员中的其中一个开始新的击球周期。系统组件框和代码行上的颜色具备对应关系。

用 AI 系统合成网球赛，你怎么看？

研究者认为该系统具备生成逼真游戏视频的能力和交互式用户控制功能，可用于体育娱乐，从而获得新的体验，也可以在运动员可视化和教练方面得到实际应用。

但对于这项研究，网友观点呈现两极化趋势。一部分认为这项研究非常炫酷，但也有人表示担忧。

有网友惊叹于合成视频的效果：几年内，难辨真假。

「非常酷！效果不错。」

但也有部分网友表达了担忧，认为这种做法是不对的。

自 DeepFake 技术出现以来，人们对 AI 合成视频的伦理问题颇为关注。斯坦福这项创建网球赛事合成视频的技术是否伴随着伦理问题？如何面对和解决 AI 合成视频伴随的一系列问题？在赞叹强大效果的同时，这或许值得我们思考。

参考链接：

https://syncedreview.com/2020/08/13/love-love-stanford-researchers-generate-realistic-fake-wimbleton/

https://www.reddit.com/r/MachineLearning/comments/ia2aob/r_vid2player_controllable_video_sprites_that/

https://twitter.com/ak92501/status/1293350699024240641

机器之心联合旷视科技开设线上公开课：零基础入门旷视天元MegEngine，通过6次课程帮助开发者入门深度学习开发。

8月25日，旷视科技移动业务团队高级工程师赵凯将带来等5课《推理端部署》，将以ShuffleNet V2为例, 介绍如何将预训练的模型部署到 Android 移动终端，结合Camera完成实时推理实现。欢迎大家入群学习。

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com

继续滑动看下一个