当前位置: X-MOL 学术J. Mem. Lang. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Understanding the complexity of computational models through optimization and sloppy parameter analyses: The case of the Connectionist Dual-Process Model
Journal of Memory and Language ( IF 4.3 ) Pub Date : 2023-09-16 , DOI: 10.1016/j.jml.2023.104468
Conrad Perry , Rick Evertz , Marco Zorzi , Johannes C. Ziegler

A major strength of computational cognitive models is their capacity to accurately predict empirical data. However, challenges in understanding how complex models work and the risk of overfitting have often been addressed by trading off predictive accuracy with model simplification. Here, we introduce state-of-the-art model analysis techniques to show how a large number of parameters in a cognitive model can be reduced into a smaller set that is simpler to understand and can be used to make more constrained predictions with. As a test case, we created different versions of the Connectionist Dual-Process model (CDP) of reading aloud whose parameters were optimized on seven different databases. The results showed that CDP was not overfit and could predict a large amount of variance across those databases. Indeed, the quantitative performance of CDP was higher than that of previous models in this area. Moreover, sloppy parameter analysis, a mathematical technique used to quantify the effects of different parameters on model performance, revealed that many of the parameters in CDP have very little effect on its performance. This shows that the dynamics of CDP are much simpler than its relatively large number of parameters might suggest. Overall, our study shows that cognitive models with large numbers of parameters do not necessarily overfit the empirical data and that understanding the behavior of complex models is more tractable using appropriate mathematical tools. The same techniques could be applied to many different complex cognitive models whenever appropriate datasets for model optimization exist.



中文翻译:

通过优化和草率参数分析来理解计算模型的复杂性:联结主义双进程模型的案例

计算认知模型的主要优势是其准确预测经验数据的能力。然而,理解复杂模型如何工作和过度拟合风险的挑战通常通过权衡预测准确性和模型简化来解决。在这里,我们介绍最先进的模型分析技术,以展示如何将认知模型中的大量参数简化为更小的集合,该集合更易于理解,并且可用于进行更有约束的预测。作为测试用例,我们创建了不同版本的朗读联结双进程模型(CDP),其参数在七个不同的数据库上进行了优化。结果表明 CDP 没有过度拟合,并且可以预测这些数据库之间的大量方差。的确,CDP在该领域的量化表现高于之前的模型。此外,草率参数分析(一种用于量化不同参数对模型性能影响的数学技术)表明,CDP 中的许多参数对其性能影响很小。这表明 CDP 的动力学比其相对大量的参数所暗示的要简单得多。总体而言,我们的研究表明,具有大量参数的认知模型不一定会过度拟合经验数据,并且使用适当的数学工具更容易理解复杂模型的行为。只要存在用于模型优化的适当数据集,相同的技术就可以应用于许多不同的复杂认知模型。此外,草率参数分析(一种用于量化不同参数对模型性能影响的数学技术)表明,CDP 中的许多参数对其性能影响很小。这表明 CDP 的动力学比其相对大量的参数所暗示的要简单得多。总体而言,我们的研究表明,具有大量参数的认知模型不一定会过度拟合经验数据,并且使用适当的数学工具更容易理解复杂模型的行为。只要存在用于模型优化的适当数据集,相同的技术就可以应用于许多不同的复杂认知模型。此外,草率参数分析(一种用于量化不同参数对模型性能影响的数学技术)表明,CDP 中的许多参数对其性能影响很小。这表明 CDP 的动力学比其相对大量的参数所暗示的要简单得多。总体而言,我们的研究表明,具有大量参数的认知模型不一定会过度拟合经验数据,并且使用适当的数学工具更容易理解复杂模型的行为。只要存在用于模型优化的适当数据集,相同的技术就可以应用于许多不同的复杂认知模型。据透露,CDP 中的许多参数对其性能影响很小。这表明 CDP 的动力学比其相对大量的参数所暗示的要简单得多。总体而言,我们的研究表明,具有大量参数的认知模型不一定会过度拟合经验数据,并且使用适当的数学工具更容易理解复杂模型的行为。只要存在用于模型优化的适当数据集,相同的技术就可以应用于许多不同的复杂认知模型。据透露,CDP 中的许多参数对其性能影响很小。这表明 CDP 的动力学比其相对大量的参数所暗示的要简单得多。总体而言,我们的研究表明,具有大量参数的认知模型不一定会过度拟合经验数据,并且使用适当的数学工具更容易理解复杂模型的行为。只要存在用于模型优化的适当数据集,相同的技术就可以应用于许多不同的复杂认知模型。我们的研究表明,具有大量参数的认知模型不一定会过度拟合经验数据,并且使用适当的数学工具更容易理解复杂模型的行为。只要存在用于模型优化的适当数据集,相同的技术就可以应用于许多不同的复杂认知模型。我们的研究表明,具有大量参数的认知模型不一定会过度拟合经验数据,并且使用适当的数学工具更容易理解复杂模型的行为。只要存在用于模型优化的适当数据集,相同的技术就可以应用于许多不同的复杂认知模型。

更新日期:2023-09-16
down
wechat
bug