Integrated speaking tasks requiring test takers to read and/or listen to stimulus texts and to incorporate their content into oral performances are now used in large-scale, high-stakes tests, including the TOEFL iBT. These tasks require test takers to identify, select, and combine relevant source text information to recognize key relationships between source text ideas, and to organize and transform information. Despite being central to evaluations of validity, relationships between stimulus content, task demands, and the oral discourse produced by test takers are yet to be empirically scrutinized to an adequate degree. In this study, we focus on a TOEFL iBT reading–listening–speaking task, applying discourse analytic measures developed by Frost, Elder and Wigglesworth (2012) to 120 oral performances to examine (a) the integration of source text ideas by test takers across three proficiency levels, and (b) the appropriateness of content-related criteria in the TOEFL integrated speaking rubric. We then combine analyses of these aspects of performances with a qualitative analysis of the generic structure and semantic profiles of stimulus texts to explore relationships between stimulus text properties and oral performances. Findings suggest that the extent to which content-related rating scale criteria distinguish between proficiency levels is contingent on stimulus text properties, with important implications for construct definitions and task design.

中文翻译：

---

应对 TOEFL iBT 综合口语任务：映射任务要求和应试者对刺激内容的使用

要求考生阅读和/或聆听刺激文本并将其内容融入口语表演的综合口语任务现在已用于大规模、高风险的考试，包括托福 iBT。这些任务要求考生识别、选择和组合相关的源文本信息，以识别源文本思想之间的关键关系，并组织和转换信息。尽管是有效性评估的核心，但刺激内容、任务要求和应试者所产生的口头话语之间的关系尚未在经验上得到足够程度的审查。在这项研究中，我们专注于 TOEFL iBT 阅读-听力-口语任务，应用 Frost 开发的话语分析方法，Elder 和 Wigglesworth (2012) 对 120 次口头表演进行了测试，以检查 (a) 三个熟练程度的考生对源文本思想的整合，以及 (b) 托福综合口语评分标准中内容相关标准的适当性。然后，我们将对表演的这些方面的分析与对刺激文本的一般结构和语义特征的定性分析相结合，以探索刺激文本属性与口头表演之间的关系。研究结果表明，内容相关评分标准区分熟练程度的程度取决于刺激文本的属性，对结构定义和任务设计具有重要意义。(b) TOEFL 综合口语评分标准中内容相关标准的适当性。然后，我们将对表演的这些方面的分析与对刺激文本的一般结构和语义特征的定性分析相结合，以探索刺激文本属性与口头表演之间的关系。研究结果表明，内容相关评分标准区分熟练程度的程度取决于刺激文本的属性，对结构定义和任务设计具有重要意义。(b) TOEFL 综合口语评分标准中内容相关标准的适当性。然后，我们将对表演的这些方面的分析与对刺激文本的一般结构和语义特征的定性分析相结合，以探索刺激文本属性与口头表演之间的关系。研究结果表明，内容相关评分标准区分熟练程度的程度取决于刺激文本的属性，对结构定义和任务设计具有重要意义。