Aerial cinematography is revolutionizing industries that require live and dynamic camera viewpoints such as entertainment, sports, and security. However, safely piloting a drone while filming a moving target in the presence of obstacles is immensely taxing, often requiring multiple expert human operators. Hence, there is demand for an autonomous cinematographer that can reason about both geometry and scene context in real-time. Existing approaches do not address all aspects of this problem; they either require high-precision motion-capture systems or GPS tags to localize targets, rely on prior maps of the environment, plan for short time horizons, or only follow artistic guidelines specified before flight. In this work, we address the problem in its entirety and propose a complete system for real-time aerial cinematography that for the first time combines: (1) vision-based target estimation; (2) 3D signed-distance mapping for occlusion estimation; (3) efficient trajectory optimization for long time-horizon camera motion; and (4) learning-based artistic shot selection. We extensively evaluate our system both in simulation and in field experiments by filming dynamic targets moving through unstructured environments. Our results indicate that our system can operate reliably in the real world without restrictive assumptions. We also provide in-depth analysis and discussions for each module, with the hope that our design tradeoffs can generalize to other related applications. Videos of the complete system can be found at: this https URL.

中文翻译：

---

具有学习艺术决策的非结构化环境中的自主航空摄影

航空摄影正在彻底改变需要实时和动态摄像机视角的行业，例如娱乐、体育和安全。然而，在有障碍物的情况下拍摄移动目标的同时安全驾驶无人机是非常费力的，通常需要多个专业的人工操作员。因此，需要能够实时推理几何和场景上下文的自主摄影师。现有的方法并没有解决这个问题的所有方面；它们要么需要高精度的动作捕捉系统或 GPS 标签来定位目标，依赖于先前的环境地图，规划短时间范围，或者只遵循飞行前指定的艺术指导方针。在这项工作中，我们从整体上解决了这个问题，并提出了一个完整的实时航空摄影系统，它首次结合了：（1）基于视觉的目标估计；(2) 用于遮挡估计的 3D 符号距离映射；(3) 长时域相机运动的高效轨迹优化；(4)基于学习的艺术镜头选择。我们通过拍摄在非结构化环境中移动的动态目标，在模拟和现场实验中广泛评估我们的系统。我们的结果表明，我们的系统可以在没有限制性假设的情况下在现实世界中可靠地运行。我们还为每个模块提供了深入的分析和讨论，希望我们的设计权衡可以推广到其他相关应用程序。可以在以下位置找到完整系统的视频：此 https URL。(1) 基于视觉的目标估计；(2) 用于遮挡估计的 3D 符号距离映射；(3) 长时域相机运动的高效轨迹优化；(4)基于学习的艺术镜头选择。我们通过拍摄在非结构化环境中移动的动态目标，在模拟和现场实验中广泛评估我们的系统。我们的结果表明，我们的系统可以在没有限制性假设的情况下在现实世界中可靠地运行。我们还为每个模块提供深入的分析和讨论，希望我们的设计权衡可以推广到其他相关应用程序。可以在以下位置找到完整系统的视频：此 https URL。(1) 基于视觉的目标估计；(2) 用于遮挡估计的 3D 符号距离映射；(3) 长时域相机运动的高效轨迹优化；(4)基于学习的艺术镜头选择。我们通过拍摄在非结构化环境中移动的动态目标，在模拟和现场实验中广泛评估我们的系统。我们的结果表明，我们的系统可以在没有限制性假设的情况下在现实世界中可靠地运行。我们还为每个模块提供了深入的分析和讨论，希望我们的设计权衡可以推广到其他相关应用程序。可以在以下位置找到完整系统的视频：此 https URL。(4)基于学习的艺术镜头选择。我们通过拍摄在非结构化环境中移动的动态目标，在模拟和现场实验中广泛评估我们的系统。我们的结果表明，我们的系统可以在没有限制性假设的情况下在现实世界中可靠地运行。我们还为每个模块提供深入的分析和讨论，希望我们的设计权衡可以推广到其他相关应用程序。可以在以下位置找到完整系统的视频：此 https URL。(4)基于学习的艺术镜头选择。我们通过拍摄在非结构化环境中移动的动态目标，在模拟和现场实验中广泛评估我们的系统。我们的结果表明，我们的系统可以在没有限制性假设的情况下在现实世界中可靠地运行。我们还为每个模块提供深入的分析和讨论，希望我们的设计权衡可以推广到其他相关应用程序。可以在以下位置找到完整系统的视频：此 https URL。我们还为每个模块提供深入的分析和讨论，希望我们的设计权衡可以推广到其他相关应用程序。可以在以下位置找到完整系统的视频：此 https URL。我们还为每个模块提供深入的分析和讨论，希望我们的设计权衡可以推广到其他相关应用程序。可以在以下位置找到完整系统的视频：此 https URL。