Motor behaviour analysis is essential to biomedical research and clinical diagnostics as it provides a non-invasive strategy for identifying motor impairment and its change caused by interventions. State-of-the-art instrumented movement analysis is time- and cost-intensive, because it requires the placement of physical or virtual markers. As well as the effort required for marking the keypoints or annotations necessary for training or fine-tuning a detector, users need to know the interesting behaviour beforehand to provide meaningful keypoints. Here, we introduce unsupervised behaviour analysis and magnification (uBAM), an automatic deep learning algorithm for analysing behaviour by discovering and magnifying deviations. A central aspect is unsupervised learning of posture and behaviour representations to enable an objective comparison of movement. Besides discovering and quantifying deviations in behaviour, we also propose a generative model for visually magnifying subtle behaviour differences directly in a video without requiring a detour via keypoints or annotations. Essential for this magnification of deviations, even across different individuals, is a disentangling of appearance and behaviour. Evaluations on rodents and human patients with neurological diseases demonstrate the wide applicability of our approach. Moreover, combining optogenetic stimulation with our unsupervised behaviour analysis shows its suitability as a non-invasive diagnostic tool correlating function to brain plasticity.

运动行为分析对于生物医学研究和临床诊断至关重要，因为它提供了一种非侵入性策略来识别运动损伤及其由干预引起的变化。最先进的仪表运动分析是时间和成本密集型的​​，因为它需要放置物理或虚拟标记。除了标记训练或微调检测器所需的关键点或注释所需的工作外，用户还需要事先了解有趣的行为以提供有意义的关键点。在这里，我们介绍了无监督行为分析和放大 (uBAM)，这是一种通过发现和放大偏差来分析行为的自动深度学习算法。一个核心方面是对姿势和行为表示的无监督学习，以实现对运动的客观比较。除了发现和量化行为偏差之外，我们还提出了一种生成模型，用于直接在视频中放大细微的行为差异，而无需通过关键点或注释绕道而行。对于这种放大的偏差，即使是在不同的个体之间，必不可少的是对外表和行为的解开。对啮齿动物和患有神经系统疾病的人类患者的评估证明了我们方法的广泛适用性。此外，将光遗传学刺激与我们的无监督行为分析相结合，表明它适合作为一种非侵入性诊断工具，将功能与大脑可塑性相关联。我们还提出了一种生成模型，用于直接在视频中放大细微的行为差异，而无需通过关键点或注释绕道而行。对于这种放大的偏差，即使是在不同的个体之间，必不可少的是对外表和行为的解开。对啮齿动物和患有神经系统疾病的人类患者的评估证明了我们方法的广泛适用性。此外，将光遗传学刺激与我们的无监督行为分析相结合，表明它适合作为一种非侵入性诊断工具，将功能与大脑可塑性相关联。我们还提出了一种生成模型，用于直接在视频中放大细微的行为差异，而无需通过关键点或注释绕道而行。对于这种放大的偏差，即使是在不同的个体之间，必不可少的是对外表和行为的解开。对啮齿动物和患有神经系统疾病的人类患者的评估证明了我们方法的广泛适用性。此外，将光遗传学刺激与我们的无监督行为分析相结合，表明它适合作为一种非侵入性诊断工具，将功能与大脑可塑性相关联。是对外表和行为的解开。对啮齿动物和患有神经系统疾病的人类患者的评估证明了我们方法的广泛适用性。此外，将光遗传学刺激与我们的无监督行为分析相结合，表明它适合作为一种非侵入性诊断工具，将功能与大脑可塑性相关联。是对外表和行为的解开。对啮齿动物和患有神经系统疾病的人类患者的评估证明了我们方法的广泛适用性。此外，将光遗传学刺激与我们的无监督行为分析相结合，表明它适合作为一种非侵入性诊断工具，将功能与大脑可塑性相关联。