Multiple object tracking (MOT) focuses on modeling the relationship of detected objects among consecutive frames and merge them into different trajectories. MOT remains a challenging task as noisy and confusing detection results often hinder the final performance. Furthermore, most existing research are focusing on improving detection algorithms and association strategies. As such, we propose a novel framework that can effectively predict and mask-out the noisy and confusing detection results before associating the objects into trajectories. In particular, we formulate such “bad” detection results as a sequence of events and adopt the spatio-temporal point process to model such events. Traditionally, the occurrence rate in a point process is characterized by an explicitly defined intensity function, which depends on the prior knowledge of some specific tasks. Thus, designing a proper model is expensive and time-consuming, with also limited ability to generalize well. To tackle this problem, we adopt the convolutional recurrent neural network (conv-RNN) to instantiate the point process, where its intensity function is automatically modeled by the training data. Furthermore, we show that our method captures both temporal and spatial evolution, which is essential in modeling events for MOT. Experimental results demonstrate notable improvements in addressing noisy and confusing detection results in MOT data sets. An improved state-of-the-art performance is achieved by incorporating our baseline MOT algorithm with the spatio-temporal point process model.

中文翻译：

---

多目标跟踪的时空点过程

多目标跟踪（MOT）侧重于对连续帧之间检测到的目标之间的关系进行建模，并将它们合并到不同的轨迹中。MOT 仍然是一项具有挑战性的任务，因为嘈杂和混乱的检测结果通常会阻碍最终性能。此外，大多数现有研究都集中在改进检测算法和关联策略上。因此，我们提出了一个新颖的框架，可以在将对象关联到轨迹之前有效地预测和屏蔽嘈杂和令人困惑的检测结果。特别是，我们将这种“坏”检测结果表示为一系列事件，并采用时空点过程对此类事件进行建模。传统上，点过程中的发生率由明确定义的强度函数表征，这取决于某些特定任务的先验知识。因此，设计一个合适的模型既昂贵又耗时，而且泛化能力也有限。为了解决这个问题，我们采用卷积递归神经网络 (conv-RNN) 来实例化点过程，其强度函数由训练数据自动建模。此外，我们表明我们的方法捕获了时间和空间的演变，这对于 MOT 的事件建模至关重要。实验结果表明，在解决 MOT 数据集中嘈杂和令人困惑的检测结果方面有了显着改进。通过将我们的基线 MOT 算法与时空点过程模型相结合，可以实现改进的最先进性能。泛化能力也有限。为了解决这个问题，我们采用卷积递归神经网络 (conv-RNN) 来实例化点过程，其强度函数由训练数据自动建模。此外，我们表明我们的方法捕获了时间和空间的演变，这对于 MOT 的事件建模至关重要。实验结果表明，在解决 MOT 数据集中嘈杂和令人困惑的检测结果方面有了显着改进。通过将我们的基线 MOT 算法与时空点过程模型相结合，可以实现改进的最先进性能。泛化能力也有限。为了解决这个问题，我们采用卷积递归神经网络 (conv-RNN) 来实例化点过程，其强度函数由训练数据自动建模。此外，我们表明我们的方法捕获了时间和空间的演变，这对于 MOT 的事件建模至关重要。实验结果表明，在解决 MOT 数据集中嘈杂和令人困惑的检测结果方面有了显着改进。通过将我们的基线 MOT 算法与时空点过程模型相结合，可以实现改进的最先进性能。其中其强度函数由训练数据自动建模。此外，我们表明我们的方法捕获了时间和空间的演变，这对于 MOT 的事件建模至关重要。实验结果表明，在解决 MOT 数据集中嘈杂和令人困惑的检测结果方面有了显着改进。通过将我们的基线 MOT 算法与时空点过程模型相结合，可以实现改进的最先进性能。其中其强度函数由训练数据自动建模。此外，我们表明我们的方法捕获了时间和空间的演变，这对于 MOT 的事件建模至关重要。实验结果表明，在解决 MOT 数据集中嘈杂和令人困惑的检测结果方面有了显着改进。通过将我们的基线 MOT 算法与时空点过程模型相结合，可以实现改进的最先进性能。