当前位置:
X-MOL 学术
›
arXiv.cs.NE
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
Fractional Deep Neural Network via Constrained Optimization
arXiv - CS - Neural and Evolutionary Computing Pub Date : 2020-04-01 , DOI: arxiv-2004.00719 Harbir Antil, Ratna Khatri, Rainald L\"ohner, and Deepanshu Verma
arXiv - CS - Neural and Evolutionary Computing Pub Date : 2020-04-01 , DOI: arxiv-2004.00719 Harbir Antil, Ratna Khatri, Rainald L\"ohner, and Deepanshu Verma
This paper introduces a novel algorithmic framework for a deep neural network
(DNN), which in a mathematically rigorous manner, allows us to incorporate
history (or memory) into the network -- it ensures all layers are connected to
one another. This DNN, called Fractional-DNN, can be viewed as a
time-discretization of a fractional in time nonlinear ordinary differential
equation (ODE). The learning problem then is a minimization problem subject to
that fractional ODE as constraints. We emphasize that an analogy between the
existing DNN and ODEs, with standard time derivative, is well-known by now. The
focus of our work is the Fractional-DNN. Using the Lagrangian approach, we
provide a derivation of the backward propagation and the design equations. We
test our network on several datasets for classification problems.
Fractional-DNN offers various advantages over the existing DNN. The key
benefits are a significant improvement to the vanishing gradient issue due to
the memory effect, and better handling of nonsmooth data due to the network's
ability to approximate non-smooth functions.
中文翻译:
通过约束优化的分数深度神经网络
本文介绍了一种用于深度神经网络 (DNN) 的新算法框架,该框架以数学上严格的方式允许我们将历史(或记忆)合并到网络中——它确保所有层相互连接。这种 DNN 称为 Fractional-DNN,可以看作是时间上的分数非线性常微分方程 (ODE) 的时间离散化。学习问题是一个以分数 ODE 作为约束的最小化问题。我们强调现有 DNN 和 ODE 之间的类比,以及标准时间导数,现在是众所周知的。我们工作的重点是 Fractional-DNN。使用拉格朗日方法,我们提供了反向传播和设计方程的推导。我们在几个数据集上测试我们的网络以解决分类问题。与现有 DNN 相比,分数 DNN 具有多种优势。主要好处是显着改善了由于记忆效应导致的梯度消失问题,以及由于网络能够逼近非平滑函数而更好地处理非平滑数据。
更新日期:2020-04-03
中文翻译:
通过约束优化的分数深度神经网络
本文介绍了一种用于深度神经网络 (DNN) 的新算法框架,该框架以数学上严格的方式允许我们将历史(或记忆)合并到网络中——它确保所有层相互连接。这种 DNN 称为 Fractional-DNN,可以看作是时间上的分数非线性常微分方程 (ODE) 的时间离散化。学习问题是一个以分数 ODE 作为约束的最小化问题。我们强调现有 DNN 和 ODE 之间的类比,以及标准时间导数,现在是众所周知的。我们工作的重点是 Fractional-DNN。使用拉格朗日方法,我们提供了反向传播和设计方程的推导。我们在几个数据集上测试我们的网络以解决分类问题。与现有 DNN 相比,分数 DNN 具有多种优势。主要好处是显着改善了由于记忆效应导致的梯度消失问题,以及由于网络能够逼近非平滑函数而更好地处理非平滑数据。