We propose a novel method of abnormal crowd behavior detection in surveillance videos. Mainly, our work focuses on detecting crowd divergence behavior that can lead to serious disasters like a stampede. We introduce a notion of physically capturing motion in the form of images and classify crowd behavior using a convolution neural network (CNN) trained on motion-shape images (MSIs). First, the optical flow (OPF) is computed, and finite-time Lyapunov exponent (FTLE) field is obtained by integrating OPF. Lagrangian coherent structure (LCS) in the FTLE field represents crowd-dominant motion. A ridge extraction scheme is proposed for the conversion of LCS-to-grayscale MSIs. Lastly, a supervised training approach is utilized with CNN to predict normal or divergence behavior for any unknown image. We test our method on six real-world low- as well as high-density crowd datasets and compare performance with state-of-the-art methods. Experimental results show that our method is not only robust for any type of scene but also outperform existing state-of-the-art methods in terms of accuracy. We also propose a divergence localization method that not only identifies divergence starting (source) points but also comes with a new feature of generating a ‘localization mask’ around the diverging crowd showing the size of divergence. Finally, we also introduce two new datasets containing videos of crowd normal and divergence behaviors at the high density.

我们提出了一种监视视频中异常人群行为检测的新方法。主要是，我们的工作重点是检测可能导致踩踏事件等严重灾难的人群分散行为。我们引入以图像形式物理捕获运动的概念，并使用在运动形状图像（MSI）上训练的卷积神经网络（CNN）对人群行为进行分类。首先，计算光流（OPF），并通过对OPF进行积分获得有限时Lyapunov指数（FTLE）场。FTLE字段中的拉格朗日相干结构（LCS）代表人群主导运动。提出了一种脊提取方案，用于将LCS转换为灰度MSI。最后，CNN使用一种有监督的训练方法来预测任何未知图像的正常或发散行为。我们在六个现实世界的低密度和高密度人群数据集上测试了我们的方法，并将性能与最新方法进行了比较。实验结果表明，我们的方法不仅适用于任何类型的场景，而且在准确性方面也优于现有的最新方法。我们还提出了一种发散定位方法，该方法不仅可以识别发散起点（源），而且还具有在发散人群周围生成显示发散大小的“定位掩码”的新功能。最后，我们还介绍了两个新的数据集，其中包含高密度人群正常和发散行为的视频。实验结果表明，我们的方法不仅适用于任何类型的场景，而且在准确性方面也优于现有的最新方法。我们还提出了一种发散定位方法，该方法不仅可以识别发散起点（源），而且还具有在发散人群周围生成显示发散大小的“定位掩码”的新功能。最后，我们还介绍了两个新的数据集，其中包含高密度人群正常和发散行为的视频。实验结果表明，我们的方法不仅适用于任何类型的场景，而且在准确性方面也优于现有的最新方法。我们还提出了一种发散定位方法，该方法不仅可以识别发散起点（源），而且还具有在发散人群周围生成显示发散大小的“定位掩码”的新功能。最后，我们还介绍了两个新的数据集，其中包含高密度人群正常和发散行为的视频。