Abstract This study aimed at investigating how the factors across the student and school levels would influence students' performance on a technology-based assessment (TBA). TBAs not only enable teachers to evaluate their students' complex abilities, but have also been adopted by large-scale and international evaluation programs in recent years. Although some factors such as students' engagement or teachers' beliefs about assessments have been articulated, relatively little is understood about how the factors across levels affect students' performances on TBAs. This study thus collected data of 494 science teachers and 1774 eighth and 11th graders from 32 schools, and conducted a hierarchical linear modeling analysis to provide a more accurate estimation of the effects of the variables in each level on students' performances. The results indicated the importance of students' engagement in related learning activities and their computer experiences at both the individual and school levels. Additionally, although none of the teachers' variables at the school level such as the time teachers spent on the use of various types of TBAs or their intentions to use TBAs had significant main effects on students' performances, the teachers' influence at the school level on students' learning could still be found by a significant moderating effect from teachers' usage of TBAs. Our results provide insight into how to promote students’ performance on TBAs and can contribute in various ways to future research efforts concerning the use of TBAs in classrooms.

中文翻译：

---

检查科学教师的实践和信念对基于技术的评估对学生表现的影响：分层线性建模方法

摘要 本研究旨在调查学生和学校层面的因素如何影响学生在基于技术的评估 (TBA) 中的表现。TBA 不仅使教师能够评估学生的复杂能力，而且近年来也被大型和国际评估项目所采用。尽管已经阐明了一些因素，例如学生的参与度或教师对评估的看法，但对跨级别因素如何影响学生在 TBA 中的表现的了解相对较少。因此，本研究收集了来自 32 所学校的 494 名科学教师和 1774 名八年级和十一年级学生的数据，并进行了分层线性建模分析，以更准确地估计每个级别的变量对学生的影响。表演。结果表明学生参与相关学习活动及其在个人和学校层面的计算机体验的重要性。此外，虽然教师在学校层面的变量，如教师在使用各种类型的 TBA 上花费的时间或他们使用 TBA 的意图对学生的表现没有显着的主影响，但教师在学校层面的影响教师使用 TBA 的显着调节作用仍然可以发现对学生学习的影响。我们的结果提供了关于如何提高学生在 TBA 上的表现的见解，并可以以各种方式为未来关于在课堂上使用 TBA 的研究工作做出贡献。参与相关学习活动及其在个人和学校层面的计算机体验。此外，虽然教师在学校层面的变量，如教师在使用各种类型的 TBA 上花费的时间或他们使用 TBA 的意图对学生的表现没有显着的主影响，但教师在学校层面的影响教师使用 TBA 的显着调节作用仍然可以发现对学生学习的影响。我们的结果提供了关于如何提高学生在 TBA 上的表现的见解，并可以以各种方式为未来关于在课堂上使用 TBA 的研究工作做出贡献。参与相关学习活动及其在个人和学校层面的计算机体验。此外，虽然教师在学校层面的变量，如教师在使用各种类型的 TBA 上花费的时间或他们使用 TBA 的意图对学生的表现没有显着的主影响，但教师在学校层面的影响教师使用 TBA 的显着调节作用仍然可以发现对学生学习的影响。我们的结果提供了关于如何提高学生在 TBA 上的表现的见解，并可以以各种方式为未来关于在课堂上使用 TBA 的研究工作做出贡献。学校层面的变量，如教师在使用各类TBA的时间或他们使用TBA的意图对学生的表现有显着的主影响，但仍然可以发现学校层面的教师对学生学习的影响教师使用 TBA 的显着调节作用。我们的结果提供了关于如何提高学生在 TBA 上的表现的见解，并可以以各种方式为未来关于在课堂上使用 TBA 的研究工作做出贡献。学校层面的变量，如教师在使用各类TBA的时间或他们使用TBA的意图对学生的表现有显着的主影响，但仍然可以发现学校层面的教师对学生学习的影响教师使用 TBA 的显着调节作用。我们的结果提供了关于如何提高学生在 TBA 上的表现的见解，并可以以各种方式为未来关于在课堂上使用 TBA 的研究工作做出贡献。