The activation function plays a fundamental role in the artificial neural network learning process. However, there is no obvious choice or procedure to determine the best activation function, which depends on the problem. This study proposes a new artificial neuron, named global-local neuron, with a trainable activation function composed of two components, a global and a local. The global component term used here is relative to a mathematical function to describe a general feature present in all problem domain. The local component is a function that can represent a localized behavior, like a transient or a perturbation. This new neuron can define the importance of each activation function component in the learning phase. Depending on the problem, it results in a purely global, or purely local, or a mixed global and local activation function after the training phase. Here, the trigonometric sine function was employed for the global component and the hyperbolic tangent for the local component. The proposed neuron was tested for problems where the target was a purely global function, or purely local function, or a composition of two global and local functions. Two classes of test problems were investigated, regression problems and differential equations solving. The experimental tests demonstrated the Global-Local Neuron network's superior performance, compared with simple neural networks with sine or hyperbolic tangent activation function, and with a hybrid network that combines these two simple neural networks.

中文翻译：

---

具有可训练的同时局部和全局激活功能的新人工神经元提议

激活功能在人工神经网络学习过程中起着基本作用。但是，没有确定最佳激活功能的明显选择或过程，这取决于问题。这项研究提出了一种新的人工神经元，称为全局局部神经元，具有可训练的激活功能，该功能由两个部分组成，即全局和局部。此处使用的全局组件术语是相对于描述所有问题域中存在的一般特征的数学函数而言的。局部分量是可以表示局部行为（例如瞬态或扰动）的函数。这种新的神经元可以定义学习阶段中每个激活功能组件的重要性。根据问题的不同，它会导致纯粹的全局或局部的 或在训练阶段之后混合使用全局和局部激活功能。在这里，三角正弦函数用于整体分量，双曲正切函数用于局部分量。对提出的神经元进行了测试，以解决其中目标是纯粹的全局功能或纯粹的局部功能或两个全局和局部功能的组合的问题。研究了两类测试问题，回归问题和微分方程求解。实验测试证明，与具有正弦或双曲正切激活功能的简单神经网络以及结合了这两个简单神经网络的混合网络相比，全局局部神经元网络具有优越的性能。三角正弦函数用于整体分量，双曲正切函数用于局部分量。测试了提出的神经元是否存在目标为纯全局功能，纯局部功能或两个全局和局部功能组成的问题。研究了两类测试问题，回归问题和微分方程求解。实验测试证明，与具有正弦或双曲正切激活功能的简单神经网络以及结合了这两个简单神经网络的混合网络相比，全局局部神经元网络具有优越的性能。三角正弦函数用于整体分量，双曲正切函数用于局部分量。测试了提出的神经元是否存在目标为纯全局功能，纯局部功能或两个全局和局部功能组成的问题。研究了两类测试问题，回归问题和微分方程求解。实验测试证明，与具有正弦或双曲正切激活功能的简单神经网络以及结合了这两个简单神经网络的混合网络相比，全局局部神经元网络具有优越的性能。研究了两类测试问题，回归问题和微分方程求解。实验测试证明，与具有正弦或双曲正切激活功能的简单神经网络以及结合了这两个简单神经网络的混合网络相比，全局局部神经元网络具有优越的性能。研究了两类测试问题，回归问题和微分方程求解。实验测试证明，与具有正弦或双曲正切激活功能的简单神经网络以及结合了这两个简单神经网络的混合网络相比，全局局部神经元网络具有优越的性能。