In recent years, several hierarchical extensions of well-known learning algorithms have been proposed. For example, when stimulus-action mappings vary across time or context, the brain may learn two or more stimulus-action mappings in separate modules, and additionally (at a hierarchically higher level) learn to appropriately switch between those modules. However, how the brain mechanistically coordinates neural communication to implement such hierarchical learning remains unknown. Therefore, the current study tests a recent computational model that proposed how midfrontal theta oscillations implement such hierarchical learning via the principle of binding by synchrony (Sync model). More specifically, the Sync model uses bursts at theta frequency to flexibly bind appropriate task modules by synchrony. The 64-channel EEG signal was recorded while 27 human subjects (female: 21, male: 6) performed a probabilistic reversal learning task. In line with the Sync model, postfeedback theta power showed a linear relationship with negative prediction errors, but not with positive prediction errors. This relationship was especially pronounced for subjects with better behavioral fit (measured via Akaike information criterion) of the Sync model. Also consistent with Sync model simulations, theta phase-coupling between midfrontal electrodes and temporoparietal electrodes was stronger after negative feedback. Our data suggest that the brain uses theta power and synchronization for flexibly switching between task rule modules, as is useful, for example, when multiple stimulus-action mappings must be retained and used.

SIGNIFICANCE STATEMENT Everyday life requires flexibility in switching between several rules. A key question in understanding this ability is how the brain mechanistically coordinates such switches. The current study tests a recent computational framework (Sync model) that proposed how midfrontal theta oscillations coordinate activity in hierarchically lower task-related areas. In line with predictions of this Sync model, midfrontal theta power was stronger when rule switches were most likely (strong negative prediction error), especially in subjects who obtained a better model fit. Additionally, also theta phase connectivity between midfrontal and task-related areas was increased after negative feedback. Thus, the data provided support for the hypothesis that the brain uses theta power and synchronization for flexibly switching between rules.

近年来，已经提出了一些众所周知的学习算法的分层扩展。例如，当刺激-动作映射随时间或上下文变化时，大脑可能会在不同的模块中学习两个或多个刺激-动作映射，并且另外（在更高层次上）学习在这些模块之间适当切换。然而，大脑如何机械地协调神经通信以实现这种分层学习仍然未知。因此，当前的研究测试了最近的计算模型，该模型提出了中额θ振荡如何通过同步绑定原理（同步模型）实现这种分层学习。更具体地说，Sync 模型使用 theta 频率的突发​​，通过同步灵活地绑定适当的任务模块。记录了 64 通道 EEG 信号，同时 27 名人类受试者（女性：21，男性：6）执行概率逆转学习任务。与同步模型一致，后反馈θ功率与负预测误差呈线性关系，但与正预测误差不呈线性关系。对于 Sync 模型具有更好行为拟合（通过 Akaike 信息标准测量）的受试者，这种关系尤其明显。同样与同步模型模拟一致，中额电极和颞顶电极之间的θ相位耦合在负反馈后更强。我们的数据表明，大脑使用 theta 功率和同步在任务规则模块之间灵活切换，这很有用，例如，当必须保留和使用多个刺激-动作映射时。6) 执行概率逆向学习任务。与同步模型一致，后反馈θ功率与负预测误差呈线性关系，但与正预测误差不呈线性关系。对于 Sync 模型具有更好行为拟合（通过 Akaike 信息标准测量）的受试者，这种关系尤其明显。同样与同步模型模拟一致，中额电极和颞顶电极之间的θ相位耦合在负反馈后更强。我们的数据表明，大脑使用 theta 功率和同步在任务规则模块之间灵活切换，这很有用，例如，当必须保留和使用多个刺激-动作映射时。6) 执行概率逆向学习任务。与同步模型一致，后反馈θ功率与负预测误差呈线性关系，但与正预测误差不呈线性关系。对于 Sync 模型具有更好行为拟合（通过 Akaike 信息标准测量）的受试者，这种关系尤其明显。同样与同步模型模拟一致，中额电极和颞顶电极之间的θ相位耦合在负反馈后更强。我们的数据表明，大脑使用 theta 功率和同步在任务规则模块之间灵活切换，这很有用，例如，当必须保留和使用多个刺激-动作映射时。后反馈 theta 功率与负预测误差呈线性关系，但与正预测误差不呈线性关系。对于 Sync 模型具有更好行为拟合（通过 Akaike 信息标准测量）的受试者，这种关系尤其明显。同样与同步模型模拟一致，中额电极和颞顶电极之间的θ相位耦合在负反馈后更强。我们的数据表明，大脑使用 theta 功率和同步在任务规则模块之间灵活切换，这很有用，例如，当必须保留和使用多个刺激-动作映射时。后反馈 theta 功率与负预测误差呈线性关系，但与正预测误差不呈线性关系。对于 Sync 模型具有更好行为拟合（通过 Akaike 信息标准测量）的受试者，这种关系尤其明显。同样与同步模型模拟一致，中额电极和颞顶电极之间的θ相位耦合在负反馈后更强。我们的数据表明，大脑使用 theta 功率和同步在任务规则模块之间灵活切换，这很有用，例如，当必须保留和使用多个刺激-动作映射时。对于 Sync 模型具有更好行为拟合（通过 Akaike 信息标准测量）的受试者，这种关系尤其明显。同样与同步模型模拟一致，中额电极和颞顶电极之间的θ相位耦合在负反馈后更强。我们的数据表明，大脑使用 theta 功率和同步在任务规则模块之间灵活切换，这很有用，例如，当必须保留和使用多个刺激-动作映射时。对于 Sync 模型具有更好行为拟合（通过 Akaike 信息标准测量）的受试者，这种关系尤其明显。同样与同步模型模拟一致，中额电极和颞顶电极之间的θ相位耦合在负反馈后更强。我们的数据表明，大脑使用 theta 功率和同步在任务规则模块之间灵活切换，这很有用，例如，当必须保留和使用多个刺激-动作映射时。

意义声明日常生活需要在多个规则之间灵活切换。理解这种能力的一个关键问题是大脑如何机械地协调这些开关。当前的研究测试了最近的计算框架（同步模型），该框架提出了中额叶 θ 振荡如何协调层次较低的任务相关区域的活动。与此 Sync 模型的预测一致，当规则切换最有可能时（强烈的负预测错误），中额叶的 theta 功率更强，尤其是在获得更好模型拟合的受试者中。此外，在负反馈后，中额叶和任务相关区域之间的 theta 相位连接也增加了。因此，这些数据为大脑使用 theta 幂和同步来灵活切换规则的假设提供了支持。