Forecasting human poses given a sequence of historical pose frames has several important applications, especially in the domain of smart home safety. Recently, computer vision-based human pose forecasting has made a breakthrough using deep learning technology. However, to implement a practical system deployed on an IoT edge environment, there are still two issues to be addressed. First, existing methods on pose forecasting fail to model the coherent structural information of connected human joints and thus cannot achieve satisfactory prediction accuracy, especially for long-term predictions. Second, a general and static pre-trained prediction model may not perform well in the deployment environment due to the visual domain shift problem. In this article, we propose a hybrid cloud-edge system called GPFS to solve those issues. Specifically, we first introduce a novel graph convolutional neural network (GCN)-based sequence-to-sequence learning method, which enhances the sequence encoder by using a graph to represent both the spatial and temporal connections of the human joints in the input frames. The GCN improves the forecasting accuracy by capturing the motion pattern of each joint as well as the correlations among different human joints over time. Second, to address the domain shift issue and protect data privacy, we extend the system to perform online learning on the IoT edge to adapt the cloud trained general model with online collected on-site domain data. Extensive evaluation on Human 3.6M and Penn Action datasets demonstrates the superiority of our proposed system.

中文翻译：

---

GPFS：基于图形的在线学习智能家居人体姿态预测系统

在给定一系列历史姿势帧的情况下预测人体姿势有几个重要的应用，特别是在智能家居安全领域。最近，基于计算机视觉的人体姿态预测利用深度学习技术取得了突破。但是，要实现部署在物联网边缘环境中的实用系统，仍有两个问题需要解决。首先，现有的姿态预测方法无法对连接的人体关节的连贯结构信息进行建模，因此无法达到令人满意的预测精度，尤其是对于长期预测。其次，由于视觉域转移问题，一般和静态的预训练预测模型可能在部署环境中表现不佳。在本文中，我们提出了一个名为 GPFS 的混合云边缘系统来解决这些问题。具体来说，我们首先介绍了一种新颖的基于图卷积神经网络 (GCN) 的序列到序列学习方法，该方法通过使用图来表示输入帧中人体关节的空间和时间连接来增强序列编码器。GCN 通过捕获每个关节的运动模式以及不同人体关节之间的相关性来提高预测精度。其次，为了解决域转移问题和保护数据隐私，我们将系统扩展为在物联网边缘进行在线学习，以使云训练的通用模型与在线收集的现场域数据相适应。对 Human 3.6M 和 Penn Action 数据集的广泛评估证明了我们提出的系统的优越性。它通过使用图形来表示输入帧中人体关节的空间和时间连接来增强序列编码器。GCN 通过捕获每个关节的运动模式以及不同人体关节之间的相关性来提高预测精度。其次，为了解决域转移问题和保护数据隐私，我们将系统扩展为在物联网边缘进行在线学习，以使云训练的通用模型与在线收集的现场域数据相适应。对 Human 3.6M 和 Penn Action 数据集的广泛评估证明了我们提出的系统的优越性。它通过使用图形来表示输入帧中人体关节的空间和时间连接来增强序列编码器。GCN 通过捕获每个关节的运动模式以及不同人体关节之间的相关性来提高预测精度。其次，为了解决域转移问题和保护数据隐私，我们将系统扩展为在物联网边缘进行在线学习，以使云训练的通用模型与在线收集的现场域数据相适应。对 Human 3.6M 和 Penn Action 数据集的广泛评估证明了我们提出的系统的优越性。GCN 通过捕获每个关节的运动模式以及不同人体关节之间的相关性来提高预测精度。其次，为了解决域转移问题和保护数据隐私，我们将系统扩展为在物联网边缘进行在线学习，以使云训练的通用模型与在线收集的现场域数据相适应。对 Human 3.6M 和 Penn Action 数据集的广泛评估证明了我们提出的系统的优越性。GCN 通过捕获每个关节的运动模式以及不同人体关节之间的相关性来提高预测精度。其次，为了解决域转移问题和保护数据隐私，我们将系统扩展为在物联网边缘进行在线学习，以使云训练的通用模型与在线收集的现场域数据相适应。对 Human 3.6M 和 Penn Action 数据集的广泛评估证明了我们提出的系统的优越性。