当前位置: X-MOL 学术J. Glob. Optim. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Four algorithms to solve symmetric multi-type non-negative matrix tri-factorization problem
Journal of Global Optimization ( IF 1.3 ) Pub Date : 2021-08-31 , DOI: 10.1007/s10898-021-01074-3
Rok Hribar 1, 2 , Gregor Papa 1 , Gašper Petelin 1, 2 , Vida Vukašinović 1 , Timotej Hrga 3 , Janez Povh 3, 4 , Nataša Pržulj 4, 5, 6
Affiliation  

In this paper, we consider the symmetric multi-type non-negative matrix tri-factorization problem (SNMTF), which attempts to factorize several symmetric non-negative matrices simultaneously. This can be considered as a generalization of the classical non-negative matrix tri-factorization problem and includes a non-convex objective function which is a multivariate sixth degree polynomial and a has convex feasibility set. It has a special importance in data science, since it serves as a mathematical model for the fusion of different data sources in data clustering. We develop four methods to solve the SNMTF. They are based on four theoretical approaches known from the literature: the fixed point method (FPM), the block-coordinate descent with projected gradient (BCD), the gradient method with exact line search (GM-ELS) and the adaptive moment estimation method (ADAM). For each of these methods we offer a software implementation: for the former two methods we use Matlab and for the latter Python with the TensorFlow library. We test these methods on three data-sets: the synthetic data-set we generated, while the others represent real-life similarities between different objects. Extensive numerical results show that with sufficient computing time all four methods perform satisfactorily and ADAM most often yields the best mean square error (MSE). However, if the computation time is limited, FPM gives the best MSE because it shows the fastest convergence at the beginning. All data-sets and codes are publicly available on our GitLab profile.



中文翻译:

求解对称多型非负矩阵三因式分解问题的四种算法

在本文中,我们考虑对称多类型非负矩阵三分解问题 (SNMTF),它试图同时分解多个对称非负矩阵。这可以被认为是经典非负矩阵三因式分解问题的推广,包括一个非凸目标函数,它是一个多元六次多项式和一个具有凸可行性集。它在数据科学中具有特殊的重要性,因为它是数据聚类中不同数据源融合的数学模型。我们开发了四种方法来解决 SNMTF。它们基于文献中已知的四种理论方法:定点法 (FPM)、投影梯度块坐标下降法 (BCD)、精确线搜索梯度法 (GM-ELS) 和自适应矩估计法 (ADAM)。对于这些方法中的每一种,我们都提供了一个软件实现:对于前两种方法,我们使用 Matlab,而对于后一种方法,我们使用带有 TensorFlow 库的 Python。我们在三个数据集上测试这些方法:我们生成的合成数据集,而其他则代表不同对象之间的现实生活相似性。大量的数值结果表明,如果有足够的计算时间,所有四种方法都可以令人满意地执行,并且 ADAM 通常会产生最佳的均方误差 (MSE)。然而,如果计算时间有限,FPM 给出最好的 MSE,因为它在开始时表现出最快的收敛。所有数据集和代码都在我们的 GitLab 配置文件中公开可用。对于这些方法中的每一种,我们都提供了一个软件实现:对于前两种方法,我们使用 Matlab,而对于后一种方法,我们使用带有 TensorFlow 库的 Python。我们在三个数据集上测试这些方法:我们生成的合成数据集,而其他则代表不同对象之间的现实生活相似性。大量的数值结果表明,如果有足够的计算时间,所有四种方法都可以令人满意地执行,并且 ADAM 通常会产生最佳的均方误差 (MSE)。然而,如果计算时间有限,FPM 给出最好的 MSE,因为它在开始时表现出最快的收敛。所有数据集和代码都在我们的 GitLab 配置文件中公开可用。对于这些方法中的每一种,我们都提供了一个软件实现:对于前两种方法,我们使用 Matlab,而对于后一种方法,我们使用带有 TensorFlow 库的 Python。我们在三个数据集上测试这些方法:我们生成的合成数据集,而其他则代表不同对象之间的现实生活相似性。大量的数值结果表明,如果有足够的计算时间,所有四种方法都可以令人满意地执行,并且 ADAM 通常会产生最佳的均方误差 (MSE)。然而,如果计算时间有限,FPM 给出最好的 MSE,因为它在开始时表现出最快的收敛。所有数据集和代码都在我们的 GitLab 配置文件中公开可用。而其他的则代表了不同对象之间现实生活中的相似之处。大量的数值结果表明,如果有足够的计算时间,所有四种方法都可以令人满意地执行,并且 ADAM 通常会产生最佳的均方误差 (MSE)。然而,如果计算时间有限,FPM 给出最好的 MSE,因为它在开始时表现出最快的收敛。所有数据集和代码都在我们的 GitLab 配置文件中公开可用。而其他的则代表了不同对象之间现实生活中的相似之处。大量的数值结果表明,如果有足够的计算时间,所有四种方法都可以令人满意地执行,并且 ADAM 通常会产生最佳的均方误差 (MSE)。然而,如果计算时间有限,FPM 给出最好的 MSE,因为它在开始时表现出最快的收敛。所有数据集和代码都在我们的 GitLab 配置文件中公开可用。

更新日期:2021-09-01
down
wechat
bug