当前位置: X-MOL 学术arXiv.cs.NE › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity
arXiv - CS - Neural and Evolutionary Computing Pub Date : 2020-08-21 , DOI: arxiv-2009.08934
Serkan Kiranyaz, Junaid Malik, Habib Ben Abdallah, Turker Ince, Alexandros Iosifidis, Moncef Gabbouj

The recently proposed network model, Operational Neural Networks (ONNs), can generalize the conventional Convolutional Neural Networks (CNNs) that are homogenous only with a linear neuron model. As a heterogenous network model, ONNs are based on a generalized neuron model that can encapsulate any set of non-linear operators to boost diversity and to learn highly complex and multi-modal functions or spaces with minimal network complexity and training data. However, the default search method to find optimal operators in ONNs, the so-called Greedy Iterative Search (GIS) method, usually takes several training sessions to find a single operator set per layer. This is not only computationally demanding, also the network heterogeneity is limited since the same set of operators will then be used for all neurons in each layer. To address this deficiency and exploit a superior level of heterogeneity, in this study the focus is drawn on searching the best-possible operator set(s) for the hidden neurons of the network based on the Synaptic Plasticity paradigm that poses the essential learning theory in biological neurons. During training, each operator set in the library can be evaluated by their synaptic plasticity level, ranked from the worst to the best, and an elite ONN can then be configured using the top ranked operator sets found at each hidden layer. Experimental results over highly challenging problems demonstrate that the elite ONNs even with few neurons and layers can achieve a superior learning performance than GIS-based ONNs and as a result the performance gap over the CNNs further widens.

中文翻译:

通过突触可塑性利用操作神经网络的异质性

最近提出的网络模型,操作神经网络 (ONN),可以概括仅与线性神经元模型同构的传统卷积神经网络 (CNN)。作为异构网络模型,ONN 基于广义神经元模型,该模型可以封装任何非线性算子集,以提高多样性并以最小的网络复杂度和训练数据学习高度复杂和多模态的函数或空间。然而,在 ONN 中寻找最优算子的默认搜索方法,即所谓的贪婪迭代搜索 (GIS) 方法,通常需要多次训练才能找到每层的单个算子集。这不仅在计算上要求很高,而且网络异质性也是有限的,因为每层中的所有神经元都将使用相同的一组算子。为了解决这一缺陷并利用更高水平的异质性,本研究的重点是基于突触可塑性范式为网络的隐藏神经元搜索最可能的算子集,该范式提出了基本的学习理论生物神经元。在训练期间,库中的每个算子集都可以通过它们的突触可塑性水平进行评估,从最差到最好的排名,然后可以使用在每个隐藏层找到的排名最高的算子集来配置精英 ONN。在极具挑战性的问题上的实验结果表明,即使只有很少的神经元和层,精英 ONN 也可以获得比基于 GIS 的 ONN 更好的学习性能,因此与 CNN 的性能差距进一步扩大。在这项研究中,重点是基于突触可塑性范式为网络的隐藏神经元搜索最可能的算子集,该范式构成了生物神经元的基本学习理论。在训练期间,库中的每个算子集都可以通过它们的突触可塑性水平进行评估,从最差到最好的排名,然后可以使用在每个隐藏层找到的排名最高的算子集来配置精英 ONN。在极具挑战性的问题上的实验结果表明,即使只有很少的神经元和层,精英 ONN 也可以获得比基于 GIS 的 ONN 更好的学习性能,因此与 CNN 的性能差距进一步扩大。在这项研究中,重点是基于突触可塑性范式为网络的隐藏神经元搜索最可能的算子集,该范式构成了生物神经元的基本学习理论。在训练期间,库中的每个算子集都可以通过它们的突触可塑性水平进行评估,从最差到最好的排名,然后可以使用在每个隐藏层找到的排名最高的算子集来配置精英 ONN。在极具挑战性的问题上的实验结果表明,即使只有很少的神经元和层,精英 ONN 也可以获得比基于 GIS 的 ONN 更好的学习性能,因此与 CNN 的性能差距进一步扩大。从最差到最好排名,然后可以使用在每个隐藏层找到的排名最高的算子集来配置精英 ONN。在极具挑战性的问题上的实验结果表明,即使只有很少的神经元和层,精英 ONN 也可以获得比基于 GIS 的 ONN 更好的学习性能,因此与 CNN 的性能差距进一步扩大。从最差到最好排名,然后可以使用在每个隐藏层找到的排名最高的算子集来配置精英 ONN。在极具挑战性的问题上的实验结果表明,即使只有很少的神经元和层,精英 ONN 也可以获得比基于 GIS 的 ONN 更好的学习性能,因此与 CNN 的性能差距进一步扩大。
更新日期:2020-09-21
down
wechat
bug