当前位置: X-MOL 学术IEEE Trans. Neural Netw. Learn. Syst. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Direct-Optimization-Based DC Dictionary Learning With the MCP Regularizer
IEEE Transactions on Neural Networks and Learning Systems ( IF 10.4 ) Pub Date : 2021-10-11 , DOI: 10.1109/tnnls.2021.3114400
Zhenni Li , Zuyuan Yang , Haoli Zhao , Shengli Xie

Direct-optimization-based dictionary learning has attracted increasing attention for improving computational efficiency. However, the existing direct optimization scheme can only be applied to limited dictionary learning problems, and it remains an open problem to prove that the whole sequence obtained by the algorithm converges to a critical point of the objective function. In this article, we propose a novel direct-optimization-based dictionary learning algorithm using the minimax concave penalty (MCP) as a sparsity regularizer that can enforce strong sparsity and obtain accurate estimation. For solving the corresponding optimization problem, we first decompose the nonconvex MCP into two convex components. Then, we employ the difference of the convex functions algorithm and the nonconvex proximal-splitting algorithm to process the resulting subproblems. Thus, the direct optimization approach can be extended to a broader class of dictionary learning problems, even if the sparsity regularizer is nonconvex. In addition, the convergence guarantee for the proposed algorithm can be theoretically proven. Our numerical simulations demonstrate that the proposed algorithm has good convergence performances in different cases and robust dictionary-recovery capabilities. When applied to sparse approximations, the proposed approach can obtain sparser and less error estimation than the different sparsity regularizers in existing methods. In addition, the proposed algorithm has robustness in image denoising and key-frame extraction.

中文翻译:

使用 MCP 正则化器进行基于直接优化的 DC 字典学习

基于直接优化的字典学习由于提高计算效率而引起了越来越多的关注。然而,现有的直接优化方案只能应用于有限的字典学习问题,并且证明算法获得的整个序列收敛到目标函数的临界点仍然是一个悬而未决的问题。在本文中,我们提出了一种新颖的基于直接优化的字典学习算法,使用极小最大凹罚分(MCP)作为稀疏正则化器,可以强制执行强稀疏性并获得准确的估计。为了解决相应的优化问题,我们首先将非凸 MCP 分解为两个凸分量。然后,我们利用凸函数算法和非凸近端分裂算法的差异来处理由此产生的子问题。因此,即使稀疏正则化器是非凸的,直接优化方法也可以扩展到更广泛的字典学习问题。此外,该算法的收敛保证可以从理论上得到证明。我们的数值模拟表明,所提出的算法在不同情况下具有良好的收敛性能和强大的字典恢复能力。当应用于稀疏近似时,所提出的方法比现有方法中的不同稀疏正则化器可以获得更稀疏和更小的误差估计。此外,该算法在图像去噪和关键帧提取方面具有鲁棒性。即使稀疏正则化器是非凸的,直接优化方法也可以扩展到更广泛的字典学习问题。此外,该算法的收敛保证可以从理论上得到证明。我们的数值模拟表明,所提出的算法在不同情况下具有良好的收敛性能和强大的字典恢复能力。当应用于稀疏近似时,所提出的方法比现有方法中的不同稀疏正则化器可以获得更稀疏和更小的误差估计。此外,该算法在图像去噪和关键帧提取方面具有鲁棒性。即使稀疏正则化器是非凸的,直接优化方法也可以扩展到更广泛的字典学习问题。此外,该算法的收敛保证可以从理论上得到证明。我们的数值模拟表明,所提出的算法在不同情况下具有良好的收敛性能和强大的字典恢复能力。当应用于稀疏近似时,所提出的方法比现有方法中的不同稀疏正则化器可以获得更稀疏和更小的误差估计。此外,该算法在图像去噪和关键帧提取方面具有鲁棒性。理论上可以证明所提出算法的收敛性保证。我们的数值模拟表明,所提出的算法在不同情况下具有良好的收敛性能和强大的字典恢复能力。当应用于稀疏近似时,所提出的方法比现有方法中的不同稀疏正则化器可以获得更稀疏和更小的误差估计。此外,该算法在图像去噪和关键帧提取方面具有鲁棒性。理论上可以证明所提出算法的收敛性保证。我们的数值模拟表明,所提出的算法在不同情况下具有良好的收敛性能和强大的字典恢复能力。当应用于稀疏近似时,所提出的方法比现有方法中的不同稀疏正则化器可以获得更稀疏和更小的误差估计。此外,该算法在图像去噪和关键帧提取方面具有鲁棒性。与现有方法中不同的稀疏正则化器相比,所提出的方法可以获得更稀疏和更小的误差估计。此外,该算法在图像去噪和关键帧提取方面具有鲁棒性。与现有方法中不同的稀疏正则化器相比,所提出的方法可以获得更稀疏和更小的误差估计。此外,该算法在图像去噪和关键帧提取方面具有鲁棒性。
更新日期:2021-10-11
down
wechat
bug