当前位置: X-MOL 学术IEEE Trans. Pattern Anal. Mach. Intell. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
CNN-Based Real-Time Dense Face Reconstruction with Inverse-Rendered Photo-Realistic Face Images
IEEE Transactions on Pattern Analysis and Machine Intelligence ( IF 23.6 ) Pub Date : 2018-05-17 , DOI: 10.1109/tpami.2018.2837742
Yudong Guo , Juyong Zhang , Jianfei Cai , Boyi Jiang , Jianmin Zheng

With the powerfulness of convolution neural networks (CNN), CNN based face reconstruction has recently shown promising performance in reconstructing detailed face shape from 2D face images. The success of CNN-based methods relies on a large number of labeled data. The state-of-the-art synthesizes such data using a coarse morphable face model, which however has difficulty to generate detailed photo-realistic images of faces (with wrinkles). This paper presents a novel face data generation method. Specifically, we render a large number of photo-realistic face images with different attributes based on inverse rendering. Furthermore, we construct a fine-detailed face image dataset by transferring different scales of details from one image to another. We also construct a large number of video-type adjacent frame pairs by simulating the distribution of real video data.11.All these coarse-scale and fine-scale photo-realistic face image datasets can be downloaded from https://github.com/Juyong/3DFace. With these nicely constructed datasets, we propose a coarse-to-fine learning framework consisting of three convolutional networks. The networks are trained for real-time detailed 3D face reconstruction from monocular video as well as from a single image. Extensive experimental results demonstrate that our framework can produce high-quality reconstruction but with much less computation time compared to the state-of-the-art. Moreover, our method is robust to pose, expression and lighting due to the diversity of data.

中文翻译:

基于CNN的实时密集人脸逆向渲染的真实感人脸图像

凭借卷积神经网络(CNN)的强大功能,基于CNN的人脸重建最近在从2D人脸图像重建详细的人脸形状方面显示出令人鼓舞的性能。基于CNN的方法的成功取决于大量标记数据。现有技术使用粗糙的可变形人脸模型来合成这些数据,但是该模型很难生成具有皱纹的人脸详细照片级逼真的图像。本文提出了一种新颖的人脸数据生成方法。具体来说,我们基于逆渲染渲染了大量具有不同属性的真实感人脸图像。此外,我们通过将不同比例的细节从一幅图像转移到另一幅图像来构造细微的人脸图像数据集。我们还通过模拟真实视频数据的分布来构造大量视频类型的相邻帧对。11。所有这些粗糙和精细的逼真的人脸图像数据集都可以从https://github.com下载。 / Juyong / 3DFace。利用这些构造良好的数据集,我们提出了一个由三个卷积网络组成的从粗到精的学习框架。这些网络经过培训,可以从单眼视频以及单个图像进行实时详细的3D人脸重建。大量的实验结果表明,与最新技术相比,我们的框架可以产生高质量的重构,但计算时间却少得多。此外,由于数据的多样性,我们的方法在姿势,表情和光照方面均很健壮。可以从https://github.com/Juyong/3DFace下载所有这些粗糙和精细的逼真的面部图像数据集。利用这些构造良好的数据集,我们提出了一个由三个卷积网络组成的从粗到精的学习框架。这些网络经过培训,可以从单眼视频以及单个图像进行实时详细的3D人脸重建。大量的实验结果表明,与最新技术相比,我们的框架可以产生高质量的重构,但计算时间却少得多。此外,由于数据的多样性,我们的方法在姿势,表情和光照方面均很健壮。可以从https://github.com/Juyong/3DFace下载所有这些粗糙和精细的逼真的面部图像数据集。利用这些构造良好的数据集,我们提出了一个由三个卷积网络组成的从粗到精的学习框架。这些网络经过培训,可以从单眼视频以及单个图像进行实时详细的3D人脸重建。大量的实验结果表明,与最新技术相比,我们的框架可以产生高质量的重建,但计算时间却少得多。此外,由于数据的多样性,我们的方法在姿势,表情和光照方面均很健壮。这些网络经过培训,可以从单眼视频以及单个图像进行实时详细的3D人脸重建。大量的实验结果表明,与最新技术相比,我们的框架可以产生高质量的重建,但计算时间却少得多。此外,由于数据的多样性,我们的方法在姿势,表情和光照方面均很健壮。这些网络经过培训,可以从单眼视频以及单个图像进行实时详细的3D人脸重建。大量的实验结果表明,与最新技术相比,我们的框架可以产生高质量的重建,但计算时间却少得多。此外,由于数据的多样性,我们的方法在姿势,表情和光照方面均很健壮。
更新日期:2019-05-22
down
wechat
bug