A recent Cell paper (Chang & Tsao, 2017) reports an interesting discovery. For the face stimuli generated by a pretrained active appearance model (AAM), the responses of neurons in the areas of the primate brain that are responsible for face recognition exhibit a strong linear relationship with the shape variables and appearance variables of the AAM that generates the face stimuli. In this letter, we show that this behavior can be replicated by a deep generative model, the generator network, that assumes that the observed signals are generated by latent random variables via a top-down convolutional neural network. Specifically, we learn the generator network from the face images generated by a pretrained AAM model using a variational autoencoder, and we show that the inferred latent variables of the learned generator network have a strong linear relationship with the shape and appearance variables of the AAM model that generates the face images. Unlike the AAM model, which has an explicit shape model where the shape variables generate the control points or landmarks, the generator network has no such shape model and shape variables. Yet it can learn the shape knowledge in the sense that some of the latent variables of the learned generator network capture the shape variations in the face images generated by AAM.

中文翻译：

---

通过深度生成模型复制对 ML/MF 和 AM 面部补丁的神经科学观察

最近的一篇 Cell 论文 (Chang & Tsao, 2017) 报告了一个有趣的发现。对于由预训练的主动外观模型 (AAM) 生成的面部刺激，负责面部识别的灵长类大脑区域中神经元的反应与生成主动外观模型的 AAM 的形状变量和外观变量表现出很强的线性关系。面对刺激。在这封信中，我们展示了这种行为可以通过深度生成模型（生成器网络）复制，该模型假设观察到的信号是通过自上而下的卷积神经网络由潜在随机变量生成的。具体来说，我们从使用变分自编码器的预训练 AAM 模型生成的人脸图像中学习生成器网络，我们表明，学习生成器网络的推断潜在变量与生成人脸图像的 AAM 模型的形状和外观变量具有很强的线性关系。与具有显式形状模型的 AAM 模型不同，其中形状变量生成控制点或地标，生成器网络没有这样的形状模型和形状变量。然而，它可以学习形状知识，因为学习生成器网络的一些潜在变量捕获了 AAM 生成的人脸图像中的形状变化。生成器网络没有这样的形状模型和形状变量。然而，它可以学习形状知识，因为学习生成器网络的一些潜在变量捕获了 AAM 生成的人脸图像中的形状变化。生成器网络没有这样的形状模型和形状变量。然而，它可以学习形状知识，因为学习生成器网络的一些潜在变量捕获了 AAM 生成的人脸图像中的形状变化。