This paper discusses a framework for analyzing the dependence on mathematical theory in test items, that is, a framework for discussing to what extent knowledge of mathematical theory is helpful for the student in solving the item. The framework can be applied to any test in which some knowledge of mathematical theory may be useful, both within mathematics itself and in other subjects. The relevance of the framework is related to the important distinction between language and content in mathematical theory. We used groups of scorers categorizing test items from TIMSS grade 8, PISA, and TIMSS Advanced. Differences in results across countries and groups of countries are analyzed. Our results indicate, among other things, that the dependence on mathematical theory in the set of TIMSS Advanced 2015 physics test items is greater than in the set of PISA 2012 mathematics test items. Concerning relations to item difficulty, we find interesting differences in average p-values between the sets of item groups defined by our framework concerning participating countries and geographically defined groups of countries. The results indicate deep differences in mathematics teaching traditions and curricula in different regions of the world. Documenting such differences may help different educational systems learn from each other, and as such is relevant for all forms of educational research.

中文翻译：

---

TIMSS，PISA和TIMSS Advanced考试项目中对数学理论的依赖及其与学生成绩的关系

本文讨论了用于分析测试项目中对数学理论的依赖性的框架，即，用于讨论数学理论知识在多大程度上有助于学生解决项目的框架。该框架可以应用于数学本身和其他学科中对数学理论的某些知识有用的任何测试。该框架的相关性与数学理论中语言和内容之间的重要区别有关。我们使用了一组评分者，对来自TIMSS 8级，PISA和TIMSS Advanced的测试项目进行分类。分析了国家和国家组之间结果的差异。我们的结果表明，除其他外，TIMSS Advanced 2015物理测试项目对数学理论的依赖性大于PISA 2012数学测试项目对数学理论的依赖性。关于与项目难度的关系，我们发现在我们的框架下，与参与国相关的一组项目组之间的平均p值之间存在有趣的差异，而在地理上定义的国家组之间也存在有趣的差异。结果表明，世界不同地区的数学教学传统和课程存在着巨大差异。记录这些差异可能有助于不同的教育系统相互学习，因此与所有形式的教育研究都息息相关。我们发现，在我们的框架中，与参与国相关的一组项目组与按地理区域划分的一组国家之间，平均p值存在有趣的差异。结果表明，世界不同地区的数学教学传统和课程存在着巨大差异。记录这些差异可能有助于不同的教育系统相互学习，因此与所有形式的教育研究都息息相关。我们发现，在我们的框架中，与参与国相关的一组项目组与按地理区域划分的一组国家之间，平均p值存在有趣的差异。结果表明，世界不同地区的数学教学传统和课程存在着巨大差异。记录这些差异可能有助于不同的教育系统相互学习，因此与所有形式的教育研究都息息相关。