Abstract This study explicates cognitive validity of task-based L2 pragmatic speaking assessment by examining reported strategy use of test takers at varying performance levels across different task types. Thirty university-level ESL learners completed four pragmatic speaking tasks that differ in the formality of pragmatic actions. Two trained raters scored the task-based pragmatic performances using analytical rating criteria and displayed a satisfactory level of consistency and accuracy in scoring the performances. The test-takers’ retrospective reports were transcribed and analyzed to develop a valid coding scheme that consists of cognitive, metacognitive, and pragmatic strategies. An association between the test-takers’ pragmatic performances scored by the trained raters and their reported strategy use was examined. The higher-ability test takers utilized diverse strategies more frequently, ranging from varied pragmatic strategies to strategies specifically related to managing task demands, compared to the lower-ability test takers. Further, the test takers utilized distinct types of strategies appropriate to handling unique pragmatic task situations and complexities involved in each pragmatic assessment task. These findings explain how the test takers cognitively interacted with the assessment tasks and what strategies potentially led to successful pragmatic performances. The implications of examining pragmatic strategy use were discussed in terms of advancing practices of teaching and assessing L2 pragmatics.

中文翻译：

---

在基于任务的第二级语用口语评估中调查应试者的策略使用

摘要本研究通过检查在不同任务类型上不同表现水平的应试者报告的策略使用，阐明了基于任务的第二级语用口语评估的认知有效性。30名大学水平的ESL学习者完成了四个务实的口语任务，它们在务实行为的形式上有所不同。两名训练有素的评分员使用分析性评分标准对基于任务的务实绩效进行评分，并在评分方面表现出令人满意的一致性和准确性。转录并分析应试者的回顾性报告，以开发出一种有效的编码方案，该方案由认知，元认知和务实策略组成。考查了受过培训的评分者对应试者的语用表现与他们报告的策略使用之间的关联。与能力较低的应试者相比，能力较高的应试者更频繁地使用各种策略，从各种实用策略到专门与管理任务需求相关的策略。此外，应试者采用了不同类型的策略，这些策略适合于处理独特的实际任务情况和每个实际评估任务所涉及的复杂性。这些发现解释了考生如何与评估任务进行认知互动，以及哪些策略可能导致成功的务实表现。讨论了务实策略使用的意义，根据教学和评估二语务实的先进实践进行了讨论。与能力较低的应试者相比。此外，应试者采用了不同类型的策略，这些策略适合于处理独特的实际任务情况和每个实际评估任务所涉及的复杂性。这些发现解释了考生如何与评估任务进行认知互动，以及哪些策略可能导致成功的务实表现。讨论了务实策略使用的意义，根据教学和评估二语务实的先进实践进行了讨论。与能力较低的应试者相比。此外，应试者采用了不同类型的策略，这些策略适合于处理独特的实际任务情况和每个实际评估任务所涉及的复杂性。这些发现说明了考生如何与评估任务进行认知互动，以及哪些策略可能导致成功的务实表现。讨论了务实策略使用的意义，根据教学和评估二语务实的先进实践进行了讨论。这些发现说明了考生如何与评估任务进行认知互动，以及哪些策略可能导致成功的务实表现。讨论了务实策略使用的意义，根据教学和评估二语务实的先进实践进行了讨论。这些发现说明了考生如何与评估任务进行认知互动，以及哪些策略可能导致成功的务实表现。讨论了务实策略使用的意义，根据教学和评估二语务实的先进实践进行了讨论。