Moving object detection in video streams plays a key role in many computer vision applications. In particular, separation between background and foreground items represents a main prerequisite to carry out more complex tasks, such as object classification, vehicle tracking, and person re-identification. Despite the progress made in recent years, a main challenge of moving object detection still regards the management of dynamic aspects, including bootstrapping and illumination changes. In addition, the recent widespread of Pan–Tilt–Zoom (PTZ) cameras has made the management of these aspects even more complex in terms of performance due to their mixed movements (i.e. pan, tilt, and zoom). In this paper, a combined keypoint clustering and neural background subtraction method, based on Self-Organized Neural Network (SONN), for real-time moving object detection in video sequences acquired by PTZ cameras is proposed. Initially, the method performs a spatio-temporal tracking of the sets of moving keypoints to recognize the foreground areas and to establish the background. Then, it adopts a neural background subtraction, localized in these areas, to accomplish a foreground detection able to manage bootstrapping and gradual illumination changes. Experimental results on three well-known public datasets, and comparisons with different key works of the current literature, show the efficiency of the proposed method in terms of modeling and background subtraction.

中文翻译：

---

融合自组织神经网络和关键点聚类的局部实时背景减法

视频流中的移动对象检测在许多计算机视觉应用中起着关键作用。特别是，背景和前景项目之间的分离是执行更复杂任务的主要先决条件，例如对象分类、车辆跟踪和人员重新识别。尽管近年来取得了进展，但运动物体检测的主要挑战仍然是动态方面的管理，包括自举和光照变化。此外，最近广泛使用的 Pan-Tilt-Zoom (PTZ) 摄像机由于它们的混合运动（即平移、倾斜和变焦），使得这些方面的管理在性能方面更加复杂。在本文中，一种基于自组织神经网络（SONN）的组合关键点聚类和神经背景减法方法，提出了一种用于在 PTZ 摄像机获取的视频序列中进行实时运动目标检测的方法。最初，该方法对移动关键点集进行时空跟踪，以识别前景区域并建立背景。然后，它采用定位在这些区域的神经背景减法来完成能够管理自举和渐变照明变化的前景检测。在三个著名的公共数据集上的实验结果，以及与当前文献的不同关键作品的比较，表明了所提出的方法在建模和背景减法方面的效率。该方法对移动关键点集进行时空跟踪，以识别前景区域并建立背景。然后，它采用定位在这些区域的神经背景减法来完成能够管理自举和渐变照明变化的前景检测。在三个著名的公共数据集上的实验结果，以及与当前文献的不同关键作品的比较，表明了所提出的方法在建模和背景减法方面的效率。该方法对移动关键点集进行时空跟踪，以识别前景区域并建立背景。然后，它采用定位在这些区域的神经背景减法来完成能够管理自举和渐变照明变化的前景检测。在三个著名的公共数据集上的实验结果，以及与当前文献的不同关键作品的比较，表明了所提出的方法在建模和背景减法方面的效率。