当前位置: X-MOL 学术Pattern Recogn. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Single Image-based Head Pose Estimation with Spherical Parametrization and 3D Morphing
Pattern Recognition ( IF 8 ) Pub Date : 2020-07-01 , DOI: 10.1016/j.patcog.2020.107316
Hui Yuan , Mengyu Li , Junhui Hou , Jimin Xiao

Head pose estimation plays a vital role in various applications, e.g., driverassistance systems, human-computer interaction, virtual reality technology, and so on. We propose a novel geometry based algorithm for accurately estimating the head pose from a single 2D face image at a very low computational cost. Specifically, the rectangular coordinates of only four non-coplanar feature points from a predefined 3D facial model as well as the corresponding ones automatically/ manually extracted from a 2D face image are first normalized to exclude the effect of external factors (i.e., scale factor and translation parameters). Then, the four normalized 3D feature points are represented in spherical coordinates with reference to the uniquely determined sphere by themselves. Due to the spherical parameterization, the coordinates of feature points can then be morphed along all the three directions in the rectangular coordinates effectively. Finally, the rotation matrix indicating the head pose is obtained by minimizing the Euclidean distance between the normalized 2D feature points and the 2D re-projections of morphed 3D feature points. Comprehensive experimental results over two popular databases, i.e., Pointing'04 and Biwi Kinect, demonstrate that the proposed algorithm can estimate head poses with higher accuracy and lower run time than state-of-the-art geometry based methods. Even compared with start-of-the-art learning based methods or geometry based methods with additional depth information, our algorithm still produces comparable performance.

中文翻译:

具有球面参数化和 3D 变形的基于单幅图​​像的头部姿势估计

头部姿态估计在各种应用中起着至关重要的作用,例如驾驶辅助系统、人机交互、虚拟现实技术等。我们提出了一种新的基于几何的算法,用于以非常低的计算成本从单个 2D 面部图像准确估计头部姿势。具体来说,首先对来自预定义 3D 面部模型的四个非共面特征点的直角坐标以及从 2D 人脸图像中自动/手动提取的相应特征点进行归一化,以排除外部因素(即比例因子和翻译参数)。然后,四个归一化的 3D 特征点以球坐标表示,并参考其自身唯一确定的球体。由于球面参数化,然后可以有效地沿直角坐标中的所有三个方向对特征点的坐标进行变形。最后,通过最小化归一化 2D 特征点与变形 3D 特征点的 2D 重投影之间的欧几里德距离,获得表示头部姿势的旋转矩阵。对两个流行数据库(即 Pointing'04 和 Biwi Kinect)的综合实验结果表明,与基于最先进几何的方法相比,所提出的算法可以以更高的精度和更短的运行时间来估计头部姿势。即使与最先进的基于学习的方法或具有额外深度信息的基于几何的方法相比,我们的算法仍然产生相当的性能。通过最小化归一化 2D 特征点和变形 3D 特征点的 2D 重投影之间的欧几里德距离,获得表示头部姿势的旋转矩阵。对两个流行数据库(即 Pointing'04 和 Biwi Kinect)的综合实验结果表明,与基于最先进几何的方法相比,所提出的算法可以以更高的精度和更短的运行时间来估计头部姿势。即使与最先进的基于学习的方法或具有额外深度信息的基于几何的方法相比,我们的算法仍然产生相当的性能。通过最小化归一化 2D 特征点和变形 3D 特征点的 2D 重投影之间的欧几里德距离,获得表示头部姿势的旋转矩阵。对两个流行数据库(即 Pointing'04 和 Biwi Kinect)的综合实验结果表明,与基于最先进几何的方法相比,所提出的算法可以以更高的精度和更短的运行时间来估计头部姿势。即使与最先进的基于学习的方法或具有额外深度信息的基于几何的方法相比,我们的算法仍然产生相当的性能。例如,Pointing'04 和 Biwi Kinect 证明,与最先进的基于几何的方法相比,所提出的算法可以以更高的精度和更短的运行时间来估计头部姿势。即使与最先进的基于学习的方法或具有额外深度信息的基于几何的方法相比,我们的算法仍然产生相当的性能。例如,Pointing'04 和 Biwi Kinect 证明,与最先进的基于几何的方法相比,所提出的算法可以以更高的精度和更短的运行时间来估计头部姿势。即使与最先进的基于学习的方法或具有额外深度信息的基于几何的方法相比,我们的算法仍然产生相当的性能。
更新日期:2020-07-01
down
wechat
bug