The absence or abnormality of fidgety movements of joints or limbs is strongly indicative of cerebral palsy in infants. Developing computer-based methods for assessing infant movements in videos is pivotal for improved cerebral palsy screening. Most existing methods use appearance-based features and are thus sensitive to strong but irrelevant signals caused by background clutter or a moving camera. Moreover, these features are computed over the whole frame, thus they measure gross whole body movements rather than specific joint/limb motion. Addressing these challenges, we develop and validate a new method for fidgety movement assessment from consumer-grade videos using human poses extracted from short clips. Human poses capture only relevant motion profiles of joints and limbs and are thus free from irrelevant appearance artifacts. The dynamics and coordination between joints are modeled using spatio-temporal graph convolutional networks. Frames and body parts that contain discriminative information about fidgety movements are selected through a spatio-temporal attention mechanism. We validate the proposed model on the cerebral palsy screening task using a real-life consumer-grade video dataset collected at an Australian hospital through the Cerebral Palsy Alliance, Australia. Our experiments show that the proposed method achieves the ROC-AUC score of 81.87%, significantly outperforming existing competing methods with better interpretability.

中文翻译：

---

基于时空注意力的视频婴儿运动评估模型

关节或四肢的烦躁运动的缺失或异常强烈表明婴儿患有脑瘫。开发用于评估视频中婴儿运动的基于计算机的方法对于改进脑瘫筛查至关重要。大多数现有方法使用基于外观的特征，因此对由背景杂波或移动相机引起的强但不相关的信号敏感。此外，这些特征是在整个框架上计算的，因此它们测量的是全身运动，而不是特定的关节/四肢运动。为了应对这些挑战，我们开发并验证了一种使用从短片中提取的人体姿势的消费级视频的烦躁运动评估新方法。人体姿势仅捕获关节和四肢的相关运动轮廓，因此没有不相关的外观伪影。关节之间的动态和协调使用时空图卷积网络建模。通过时空注意机制选择包含有关烦躁运动的判别信息的框架和身体部位。我们使用通过澳大利亚脑瘫联盟在澳大利亚一家医院收集的真实消费级视频数据集验证了脑瘫筛查任务的拟议模型。我们的实验表明，所提出的方法达到了 81.87% 的 ROC-AUC 分数，显着优于现有的竞争方法，具有更好的可解释性。通过时空注意机制选择包含有关烦躁运动的判别信息的框架和身体部位。我们使用通过澳大利亚脑瘫联盟在澳大利亚一家医院收集的真实消费级视频数据集验证了脑瘫筛查任务的拟议模型。我们的实验表明，所提出的方法达到了 81.87% 的 ROC-AUC 分数，显着优于现有的竞争方法，具有更好的可解释性。通过时空注意机制选择包含有关烦躁运动的判别信息的框架和身体部位。我们使用通过澳大利亚脑瘫联盟在澳大利亚一家医院收集的真实消费级视频数据集验证了脑瘫筛查任务的拟议模型。我们的实验表明，所提出的方法达到了 81.87% 的 ROC-AUC 分数，显着优于现有的竞争方法，具有更好的可解释性。