Standardized benchmarks have been crucial in pushing the performance of computer vision algorithms, especially since the advent of deep learning. Although leaderboards should not be over-claimed, they often provide the most objective measure of performance and are therefore important guides for research. We present MOTChallenge, a benchmark for single-camera Multiple Object Tracking (MOT) launched in late 2014, to collect existing and new data, and create a framework for the standardized evaluation of multiple object tracking methods. The benchmark is focused on multiple people tracking, since pedestrians are by far the most studied object in the tracking community, with applications ranging from robot navigation to self-driving cars. This paper collects the first three releases of the benchmark: (i) MOT15, along with numerous state-of-the-art results that were submitted in the last years, (ii) MOT16, which contains new challenging videos, and (iii) MOT17, that extends MOT16 sequences with more precise labels and evaluates tracking performance on three different object detectors. The second and third release not only offers a significant increase in the number of labeled boxes but also provide labels for multiple object classes beside pedestrians, as well as the level of visibility for every single object of interest. We finally provide a categorization of state-of-the-art trackers and a broad error analysis. This will help newcomers understand the related work and research trends in the MOT community, and hopefully shed some light on potential future research directions.

中文翻译：

---

MOTChallenge：单相机多目标跟踪的基准

标准化基准测试对于推动计算机视觉算法的性能至关重要，尤其是在深度学习出现之后。虽然排行榜不应被夸大，但它们通常提供最客观的绩效衡量标准，因此是研究的重要指南。我们提出了 MOTChallenge，它是 2014 年底推出的单相机多目标跟踪 (MOT) 基准，用于收集现有数据和新数据，并为多目标跟踪方法的标准化评估创建一个框架。该基准测试侧重于多人跟踪，因为行人是迄今为止跟踪社区中研究最多的对象，其应用范围从机器人导航到自动驾驶汽车。本文收集了基准的前三个版本：（i）MOT15，连同过去几年提交的众多最先进的结果，(ii) MOT16，其中包含新的具有挑战性的视频，以及 (iii) MOT17，使用更精确的标签扩展 MOT16 序列并评估三个方面的跟踪性能不同的物体检测器。第二个和第三个版本不仅显着增加了标记框的数量，而且还为行人旁边的多个对象类别提供了标签，以及每个感兴趣对象的可见度级别。我们最终提供了最先进的跟踪器的分类和广泛的错误分析。这将有助于新人了解 MOT 社区的相关工作和研究趋势，并有望为未来潜在的研究方向提供一些启示。其中包含新的具有挑战性的视频，以及 (iii) MOT17，它使用更精确的标签扩展了 MOT16 序列，并评估了三个不同对象检测器的跟踪性能。第二个和第三个版本不仅显着增加了标记框的数量，而且还为行人旁边的多个对象类别提供了标签，以及每个感兴趣对象的可见度级别。我们最终提供了最先进的跟踪器的分类和广泛的错误分析。这将有助于新人了解 MOT 社区的相关工作和研究趋势，并有望为未来潜在的研究方向提供一些启示。其中包含新的具有挑战性的视频，以及 (iii) MOT17，它使用更精确的标签扩展了 MOT16 序列，并评估了三个不同对象检测器的跟踪性能。第二个和第三个版本不仅显着增加了标记框的数量，而且还为行人旁边的多个对象类别提供了标签，以及每个感兴趣对象的可见度级别。我们最终提供了最先进的跟踪器的分类和广泛的错误分析。这将有助于新人了解 MOT 社区的相关工作和研究趋势，并有望为未来潜在的研究方向提供一些启示。第二个和第三个版本不仅显着增加了标记框的数量，而且还为行人旁边的多个对象类别提供了标签，以及每个感兴趣对象的可见度级别。我们最终提供了最先进的跟踪器的分类和广泛的错误分析。这将有助于新人了解 MOT 社区的相关工作和研究趋势，并有望为未来潜在的研究方向提供一些启示。第二个和第三个版本不仅显着增加了标记框的数量，而且还为行人旁边的多个对象类别提供了标签，以及每个感兴趣对象的可见度级别。我们最终提供了最先进的跟踪器的分类和广泛的错误分析。这将有助于新人了解 MOT 社区的相关工作和研究趋势，并有望为未来潜在的研究方向提供一些启示。