Abstract In everyday life, our behavior varies on a continuum from automatic and habitual to deliberate and goal-directed. Recent evidence suggests that habit formation and relearning of habits operate in a context-dependent manner: Habit formation is promoted when actions are performed in a specific context, while breaking off habits is facilitated after a context change. It is an open question how one can computationally model the brain’s balancing between context-specific habits and goal-directed actions. Here, we propose a hierarchical Bayesian approach for control of a partially observable Markov decision process that enables conjoint learning of habits and reward structure in a context-specific manner. In this model, habit learning corresponds to an updating of priors over policies and interacts with the learning of the outcome contingencies. Importantly, the model is solely built on probabilistic inference, which effectively provides a simple explanation of how the brain may balance contributions of habitual and goal-directed control. We illustrated the resulting behavior using agent-based simulated experiments, where we replicated several findings of devaluation, extinction, and renewal experiments, as well as the so-called two-step task which is typically used with human participants. In addition, we show how a single parameter, the habitual tendency, can explain individual differences in habit learning and the balancing between habitual and goal-directed control. Finally, we discuss the link of the proposed model to other habit learning models and implications for understanding specific phenomena in substance use disorder.

中文翻译：

---

平衡控制：习惯性和目标导向行为的贝叶斯解释

摘要 在日常生活中，我们的行为是连续变化的，从自动和习惯性到刻意和目标导向。最近的证据表明，习惯的形成和习惯的重新学习以依赖于环境的方式运作：在特定环境中执行行为时会促进习惯的形成，而在环境改变后会促进改变习惯。这是一个悬而未决的问题，人们如何通过计算模拟大脑在特定环境的习惯和目标导向的行动之间的平衡。在这里，我们提出了一种分层贝叶斯方法来控制部分可观察的马尔可夫决策过程，该过程能够以特定于上下文的方式联合学习习惯和奖励结构。在这个模型中，习惯学习对应于对政策的先验更新，并与结果意外事件的学习相互作用。重要的是，该模型完全建立在概率推理上，它有效地为大脑如何平衡习惯性和目标导向控制的贡献提供了一个简单的解释。我们使用基于代理的模拟实验说明了由此产生的行为，我们复制了贬值、灭绝和更新实验的几个发现，以及通常与人类参与者一起使用的所谓的两步任务。此外，我们展示了一个单一的参数，即习惯倾向，如何解释习惯学习的个体差异以及习惯和目标导向控制之间的平衡。最后，我们讨论了所提出的模型与其他习惯学习模型的联系以及对理解物质使用障碍特定现象的影响。该模型完全建立在概率推理上，它有效地为大脑如何平衡习惯性和目标导向控制的贡献提供了一个简单的解释。我们使用基于代理的模拟实验说明了由此产生的行为，我们复制了贬值、灭绝和更新实验的几个发现，以及通常与人类参与者一起使用的所谓的两步任务。此外，我们展示了一个单一的参数，即习惯倾向，如何解释习惯学习的个体差异以及习惯和目标导向控制之间的平衡。最后，我们讨论了所提出的模型与其他习惯学习模型的联系以及对理解物质使用障碍特定现象的影响。该模型完全建立在概率推理上，它有效地为大脑如何平衡习惯性和目标导向控制的贡献提供了一个简单的解释。我们使用基于代理的模拟实验说明了由此产生的行为，我们复制了贬值、灭绝和更新实验的几个发现，以及通常与人类参与者一起使用的所谓的两步任务。此外，我们展示了一个单一的参数，即习惯倾向，如何解释习惯学习的个体差异以及习惯和目标导向控制之间的平衡。最后，我们讨论了所提出的模型与其他习惯学习模型的联系以及对理解物质使用障碍特定现象的影响。这有效地提供了一个简单的解释，说明大脑如何平衡习惯性控制和目标导向控制的贡献。我们使用基于代理的模拟实验说明了由此产生的行为，我们复制了贬值、灭绝和更新实验的几个发现，以及通常与人类参与者一起使用的所谓的两步任务。此外，我们展示了一个单一的参数，即习惯倾向，如何解释习惯学习的个体差异以及习惯和目标导向控制之间的平衡。最后，我们讨论了所提出的模型与其他习惯学习模型的联系以及对理解物质使用障碍特定现象的影响。这有效地提供了一个简单的解释，说明大脑如何平衡习惯性控制和目标导向控制的贡献。我们使用基于代理的模拟实验说明了由此产生的行为，我们复制了贬值、灭绝和更新实验的几个发现，以及通常与人类参与者一起使用的所谓的两步任务。此外，我们展示了一个单一的参数，即习惯倾向，如何解释习惯学习的个体差异以及习惯和目标导向控制之间的平衡。最后，我们讨论了所提出的模型与其他习惯学习模型的联系以及对理解物质使用障碍特定现象的影响。我们使用基于代理的模拟实验说明了由此产生的行为，我们复制了贬值、灭绝和更新实验的几个发现，以及通常与人类参与者一起使用的所谓的两步任务。此外，我们展示了一个单一的参数，即习惯倾向，如何解释习惯学习的个体差异以及习惯和目标导向控制之间的平衡。最后，我们讨论了所提出的模型与其他习惯学习模型的联系以及对理解物质使用障碍特定现象的影响。我们使用基于代理的模拟实验说明了由此产生的行为，我们复制了贬值、灭绝和更新实验的几个发现，以及通常与人类参与者一起使用的所谓的两步任务。此外，我们展示了一个单一的参数，即习惯倾向，如何解释习惯学习的个体差异以及习惯和目标导向控制之间的平衡。最后，我们讨论了所提出的模型与其他习惯学习模型的联系以及对理解物质使用障碍特定现象的影响。习惯倾向，可以解释习惯学习的个体差异以及习惯和目标导向控制之间的平衡。最后，我们讨论了所提出的模型与其他习惯学习模型的联系以及对理解物质使用障碍特定现象的影响。习惯倾向，可以解释习惯学习的个体差异以及习惯和目标导向控制之间的平衡。最后，我们讨论了所提出的模型与其他习惯学习模型的联系以及对理解物质使用障碍特定现象的影响。