Abstract Multi-task learning is a promising machine learning branch, which aims to improve the generalization of the prediction models by sharing knowledge among tasks. Most of the existing multi-task learning methods rely on predefined task relationships and guide the learning process of models by linear regularization terms. On the one hand, improper setting of task relationships may result in negative knowledge transfer; on the other hand, these methods also suffer from the insufficiency of representation ability. To overcome these problems, this paper focuses on attention-based deep multi-task learning method, and provides a novel deep multi-task learning method, namely, Deep Multi-task Learning with Relational Attention (DMLRA). In particular, we first provide a task-specific attention module to specify features for different learning tasks, because different prediction tasks may rely on different parts of the shared feature set. Then, we design a relational attention module to learn relationships among multiple tasks automatically, and transfer positive and negative knowledge among multiple tasks accordingly. Moreover, we provide a joint deep multi-task learning framework to combine task-specific module and relational attention module. Finally, we apply our method on a multi-criteria business success assessment problem, both classical and the state-of-the-art multi-task learning methods are employed to provide baseline performance. The experiments are conducted on real-world datasets, results demonstrate the superiority of our method over the existing methods.

中文翻译：

---

具有关系注意力的深度多任务学习，用于商业成功预测

摘要 多任务学习是一个很有前途的机器学习分支，旨在通过在任务之间共享知识来提高预测模型的泛化能力。现有的多任务学习方法大多依赖于预定义的任务关系，通过线性正则化项来指导模型的学习过程。一方面，任务关系设置不当可能导致负面的知识转移；另一方面，这些方法也存在表示能力不足的问题。为了克服这些问题，本文着眼于基于注意力的深度多任务学习方法，并提供了一种新颖的深度多任务学习方法，即Deep Multi-task Learning with Relational Attention (DMLA)。特别是，我们首先提供了一个特定于任务的注意力模块来为不同的学习任务指定特征，因为不同的预测任务可能依赖于共享特征集的不同部分。然后，我们设计了一个关系注意力模块来自动学习多个任务之间的关系，并相应地在多个任务之间转移正负知识。此外，我们提供了一个联合深度多任务学习框架来结合特定任务模块和关系注意模块。最后，我们将我们的方法应用于多标准业务成功评估问题，采用经典和最先进的多任务学习方法来提供基准性能。实验是在真实世界的数据集上进行的，结果证明了我们的方法优于现有方法。我们设计了一个关系注意力模块来自动学习多个任务之间的关系，并相应地在多个任务之间转移正负知识。此外，我们提供了一个联合深度多任务学习框架来结合特定任务模块和关系注意模块。最后，我们将我们的方法应用于多标准业务成功评估问题，采用经典和最先进的多任务学习方法来提供基准性能。实验是在真实世界的数据集上进行的，结果证明了我们的方法优于现有方法。我们设计了一个关系注意力模块来自动学习多个任务之间的关系，并相应地在多个任务之间转移正负知识。此外，我们提供了一个联合深度多任务学习框架来结合特定任务模块和关系注意模块。最后，我们将我们的方法应用于多标准业务成功评估问题，采用经典和最先进的多任务学习方法来提供基准性能。实验是在真实世界的数据集上进行的，结果证明了我们的方法优于现有方法。我们提供了一个联合深度多任务学习框架来结合特定任务模块和关系注意模块。最后，我们将我们的方法应用于多标准业务成功评估问题，采用经典和最先进的多任务学习方法来提供基准性能。实验是在真实世界的数据集上进行的，结果证明了我们的方法优于现有方法。我们提供了一个联合深度多任务学习框架来结合特定任务模块和关系注意力模块。最后，我们将我们的方法应用于多标准业务成功评估问题，采用经典和最先进的多任务学习方法来提供基准性能。实验是在真实世界的数据集上进行的，结果证明了我们的方法优于现有方法。