业界 | 谷歌 NIPS 2016 提交的8篇论文：从无监督学习到生成模型（附论文下载）

2016 年度神经信息处理系统大会（NIPS 2016）将于今年 12 月份在西班牙巴塞罗那举办。谷歌近期公布了他们被 NIPS 接收的一批论文，共有 12 篇，其中 4 篇尚未公开，此次机器之心将先介绍谷歌这 8 篇论文。点击文末「阅读原文」下载全部论文。

• 用于通过视频预测的物理交互的无监督学习（Unsupervised Learning for Physical Interaction through Video Prediction）

作者：Chelsea Finn, Ian Goodfellow, Sergey Levine

摘要：代理（agent）学习与世界交互的一个核心挑战是预测行动如何影响环境中的物体。现有的学习物理交互中的动力学的很多方法需要有标注的对象信息。然而，要将真实世界的交互学习的扩展到多种场景和对象中，获取有标注的数据变得越来越不切实际。为了在无标注的情况下学习物理对象的运动，我们通过从前面的帧来预测像素运动分布的方法，开发出一种以行动为条件的视频预测模型（action-conditioned video prediction model），其能明确地对像素运动建模。因为我们的模型可以明确地预测运动，所以它相对于对象外观是部分不变的，这使它可以归纳之前没看到过的对象。为了探索用于真实世界交互代理的视频预测，我们还引进了一个包含 50,000 次机器人交互的涉及推这个动作的数据集，包括一个带有全新对象的测试集。在这个数据集中，对以机器人未来动作为参照条件的精确视频预测达到了学习在不同行动过程基础上对未来进行「视觉想象（visual imagination）」的程度。试验发现，与之前的方法相比，我们提出的方法不仅产生了更精确的视频预测，还更精确地预测到了对象运动。

• DeepMath——用于前提选择的深度序列模型（DeepMath - Deep Sequence Models for Premise Selection）

作者：Alex A. Alemi, Francois Chollet, Geoffrey Irving,Christian Szegedy, Josef Urban

摘要：我们研究了自动定理证明（automated theorem proving）中用于前提选择的神经序列模型（neural sequence model）的有效性——自动定理证明是数学形式化（ formalization of mathematics）的主要瓶颈之一。我们为这一任务提出了一种两段式方法，该方法能在 Mizar 语料库上的前提选择任务上得到很好的结果，同时还能避开当前最佳的模型的人工设计的特征。据我们所知，这是深度学习第一次被用于定理证明。

• 域分割网络（Domain Separation Networks）

作者：Konstantinos Bousmalis、George Trigeorgis、Nathan Silberman、Dilip Krishnan、Dumitru Erhan

摘要：大规模数据收集与标注的成本使得机器学习算法应用于新的任务与数据集时成本高的惊人。一种避免这种高成本的方法是在合成数据上训练模型，其中在模型成功被应用之前，标注域适应算法（ annotations domain adaptation algorithms ）能巧妙的处理这些模型。现有的方法要么集中在从一个域到另个域的表征映射，要么集中在学习提取对该域而言恒定的特征。受到私密共享组件分析（private-shared component analysis）上成果的启发，我们可以很明确地学习提取可划分为两个子空间的特征：一个组件对每个域是私密的，一个组件在所有域间共享。我们的模型被训练我们在源域（source domain）中关心的任务，但也使用分割的表征重建来自两种域的图像。我们的新架构得到的模型的表现超出了许多当前最佳的无监督域适应情境（unsupervised domain adaptation scenarios ），另外还能产生私密和共享的表征的可视化，从而使得我们能够解释该域适应过程。

• 通过瞬态混沌在深度神经网络中的指数级表达力（Exponential expressivity in deep neural networks through transient chaos）

作者：Ben Poole, Subhaneil Lahiri, Maithra Raghu, Jascha Sohl-Dickstein, Surya Ganguli

摘要：我们将黎曼几何与高纬度混沌的平均场理论（ mean field theory ）结合起来，学习带有随机权重的泛型的、深度神经网络的信号传播的特性。我们的结果显示出一个  order-to-chaos expressivity phase transition，其中混沌相中的网络计算非线性函数，这些函数的全局曲率（global curvature）随深度呈指数级增长，而不是宽度。我们证明深度随机函数的这一泛型类别不能被任何浅网络有效计算，这超出了先前研究单函数分析的限制。此外，我们正式且量化的证明了这一长久的推测：深度网络能将输入空间中的高度曲率流形（ highly curved manifold）解（disentangle）到隐藏空间的平面流行中。我们对深度网络表达力的理论分析能广泛地应用到任意非线性上，并提供之前关于深度函数几何学抽象概念的量性基础（ quantitative underpinning）。

• 对神经网络更深度的理解：初始化的力量和表现性上的双重视角（Toward Deeper Understanding of Neural Networks: The Power of Initialization and a Dual View on Expressivity）

作者：Amit Daniely, Roy Frostig, Yoram Singer

摘要：我们开发出了神经网络和 ompositional kernels 之间的一种通用二元性，这对更好地理解深度学习大有裨益。我们发现由通用随机初始化生成的初始表征能够足以表达对偶核空间中的所有函数。因此，虽然在最糟糕的情况下训练目标函数很难优化，但初始化权重还是为优化形成了一个良好的开端。我们的二元视角（dual view）同样显示了神经网络的务实性（pragmatic）和审美性（aesthetic），也突出了神经网络的表达能力。

• 出现、推断、重复：使用生成模型的快速场景理解（Attend, Infer, Repeat: Fast Scene Understanding with Generative Models）

作者：S. M. Ali Eslami, Nicolas Heess, Theophane Weber, Yuval Tassa, David Szepesvari, Koray Kavukcuoglu, Geoffrey E. Hinton

我们提出了一个用于结构化图像模型（可以对目标进行明确的推理）中的有效推理的框架。这种方法是通过使用一个循环神经网络来执行概率推理——该循环神经网络可以处理场景元素且一次处理一个。关键的是，该模型自身可以学习选择合适数量的推理步骤。我们使用这种学习方案来执行部分特定的 2D 模型（可变大小的变自编码器）和完全特定的 3D 模型（概率渲染器（probabilistic renderers））中的推理。我们的研究证明这样的模型可以在没有任何监督的情况下学习识别多个目标——计数、定位和分类一个场景中的元素，比如：在神经网络的单次前向通过中分解带有多个目标的 3D 图像。我们的研究进一步表明，相比于监督式的方法，我们的网络可以产出更精确的推理，而且它们的结构也可以使归纳得到进一步的提升。

• 标题：A Neural Transducer

作者：Navdeep Jaitly, David Sussillo, Quoc V. Le, Oriol Vinyals, Ilya Sutskever, Samy Bengio

摘要：Sequence-to-sequence 模型在很多任务上已经达到了令人瞩目的效果。但是，有两类任务是不适合的，第一种是当更多数据进来时需要进行增量预测的任务；第二种是有很长的输入序列和输出序列的任务。这是因为它们以整个输入序列为条件来生成输出序列。

在本篇论文中，我们提出了 Neural Transducer ，当有更多输入进来时，可以进行增量预测，而不需要重新做整个计算。不像 sequence-to-sequence 模型，Neural Transducer 计算是基于部分观察到的输入序列和部分生成的序列来计算下一步分布。在每一步，transducer 可以决定对许多输出符号（output symbols）输出零。数据通过一个编码器进行处理，然后成为 transducer 的输入。在每一步都发出一个信号的离散决策使得用传统的 BP 算法学习就变得非常困难。但是，通过动态编程算法来训练 transducer 生成目标离散决策是可行的。我们的实验展示了，Neural Transducer 在处理数据输入时的输出预测时表现得很好。我们同时发现，Neural Transducer 在长序列上也表现得很好，即使不使用注意力机制。

• 标题：深度学习游戏（Deep Learning Games）

作者：Dale Schuurmans, Martin Zinkevich

摘要：我们研究了在玩游戏上的监督学习的减少，这揭示了新的连接和学习方法。对于 convex one-layer 问题，我们的研究证明了训练问题中的全局极小化器（global minimizer）和简单游戏中的纳什均衡的对应关系。然后我们证明该游戏可以如何被扩展成带有微分凸门的一般非循环神经网络（general acyclic neural networks with differentiable convex gates），从而在纳什均衡和深度学习问题的关键（或 KKT）点之间建立了双映射（bijection）。我们基于这些连接研究了替代性的学习方法，然后发现后悔匹配（regret matching）可以实现有竞争力的训练表现，同时还能得到比当前深度学习方法更稀疏的模型。

©本文由机器之心编译，转载请联系本公众号授权。

✄------------------------------------------------

加入机器之心（全职记者/实习生）：hr@almosthuman.cn

投稿或寻求报道：editor@almosthuman.cn

广告&商务合作：bd@almosthuman.cn

点击阅读原文，下载全部论文↓↓↓