Convolutional neural networks (CNNs) are effective models for image classification and recognition. Gradient descent optimization (GD) is the basic algorithm for CNN model optimization. Since GD appeared, a series of improved algorithms have been derived. Among these algorithms, adaptive moment estimation (Adam) has been widely recognized. However, local changes are ignored in Adam to some extent. In this paper, we introduce an adaptive learning rate factor based on current and recent gradients. According to this factor, we can dynamically adjust the learning rate of each independent parameter to adaptively adjust the global convergence process. We use the factor to adjust the learning rate for each parameter. The convergence of the proposed algorithm is proven by using the regret bound approach of the online learning framework. In the experimental section, comparisons are conducted between the proposed algorithm and other existing algorithms, such as AdaGrad, RMSprop, Adam, diffGrad, and AdaHMG, on test functions and the MNIST dataset. The results show that Adam and RMSprop combined with our algorithm can not only find the global minimum faster in the experiment using the test function but also have a better convergence curve and higher test set accuracy in experiments using datasets. Our algorithm is a supplement to the existing gradient descent algorithms, which can be combined with many other existing gradient descent algorithms to improve the efficiency of iteration, speed up the convergence of the cost function, and improve the final recognition rate.

中文翻译：

---

卷积神经网络的梯度敏感优化

卷积神经网络（CNN）是用于图像分类和识别的有效模型。梯度下降优化（GD）是CNN模型优化的基本算法。自从GD出现以来，已经推出了一系列改进的算法。在这些算法中，自适应矩估计（Adam）已得到广泛认可。但是，亚当在某种程度上忽略了局部变化。在本文中，我们介绍了一种基于当前和最近的梯度的自适应学习率因子。根据这个因素，我们可以动态地调整每个独立参数的学习率，以自适应地调整全局收敛过程。我们使用该因子来调整每个参数的学习率。利用在线学习框架的后悔约束方法证明了该算法的收敛性。在实验部分，在测试函数和MNIST数据集上，对提出的算法与其他现有算法（例如AdaGrad，RMSprop，Adam，diffGrad和AdaHMG）进行了比较。结果表明，Adam和RMSprop结合我们的算法，不仅可以在使用测试函数的实验中更快地找到全局最小值，而且在使用数据集进行的实验中也具有更好的收敛曲线和更高的测试集准确性。我们的算法是对现有梯度下降算法的补充，可以与许多其他现有梯度下降算法结合使用，以提高迭代效率，加快代价函数的收敛速度并提高最终识别率。RMSprop，Adam，diffGrad和AdaHMG，关于测试函数和MNIST数据集。结果表明，Adam和RMSprop结合我们的算法，不仅可以在使用测试函数的实验中更快地找到全局最小值，而且在使用数据集进行的实验中也具有更好的收敛曲线和更高的测试集准确性。我们的算法是对现有梯度下降算法的补充，可以与许多其他现有梯度下降算法结合使用，以提高迭代效率，加快代价函数的收敛速度并提高最终识别率。RMSprop，Adam，diffGrad和AdaHMG，关于测试函数和MNIST数据集。结果表明，Adam和RMSprop结合我们的算法，不仅可以在使用测试函数的实验中更快地找到全局最小值，而且在使用数据集进行的实验中也具有更好的收敛曲线和更高的测试集准确性。我们的算法是对现有梯度下降算法的补充，可以与许多其他现有梯度下降算法结合使用，以提高迭代效率，加快代价函数的收敛速度并提高最终识别率。结果表明，Adam和RMSprop结合我们的算法，不仅可以在使用测试函数的实验中更快地找到全局最小值，而且在使用数据集进行的实验中也具有更好的收敛曲线和更高的测试集准确性。我们的算法是对现有梯度下降算法的补充，可以与许多其他现有梯度下降算法结合使用，以提高迭代效率，加快代价函数的收敛速度并提高最终识别率。结果表明，Adam和RMSprop结合我们的算法，不仅可以在使用测试函数的实验中更快地找到全局最小值，而且在使用数据集进行的实验中也具有更好的收敛曲线和更高的测试集准确性。我们的算法是对现有梯度下降算法的补充，可以与许多其他现有梯度下降算法结合使用，以提高迭代效率，加快代价函数的收敛速度并提高最终识别率。