尽管多任务学习（MTL）已成功应用于多个领域，但仍引发挑战。负迁移的结果是，同时学习多个任务可能会导致意想不到的结果。造成这种不良行为的一个关键因素是梯度冲突的问题。在本文中，我们为MTL提出了一种新颖的方法Rotograd，该方法通过旋转所有任务的共享表示来使所有任务的梯度方向均匀化。我们的算法被形式化为Stackelberg游戏，这使我们能够提供稳定性保证。Rotograd可以与任务加权方法（例如GradNorm）透明地组合在一起，以减轻负面转移，从而实现稳健的学习过程。对几种架构（例如ResNet）和数据集（例如 CIFAR）验证了我们的理论结果，并表明Rotograd优于以前的方法。可以在https://github.com/adrianjav/rotograd中找到Pytorch实现。



"点击查看英文标题和摘要"