Whereas previous research revealed the interactional variability occurring in oral assessments, demonstrating how it could undermine test validity (e.g., A. Brown, 2003), little has been published regarding how language programs can mine and analyze video recordings of in-house oral placement tests for validation purposes. Addressing this need, this article demonstrates how action research supplemented by an interventionist conversation analysis (CA) approach may be implemented as a tool for localized and cyclical test validation. This article reports on the process of how a team of oral placement test interviewers and CA researchers sought to iteratively improve interviewer training materials and testing protocols based on observed talk during placement test interactions. The study revolves around sample analyses of data excerpts to exemplify two data comparison procedures, involving different interviewers within the same iteration (i.e., horizontal comparison) and the same interviewer across different iterations after participation in a training session (i.e., vertical comparison). It showcases the ongoing process of collaboration with the goal of offering transferable insights to those who design, implement, and revise in-house oral placement tests. The authors contend that a holistic and unified approach to test validation, involving continued dialogue between researchers and practitioners, is crucial to in-house oral placement tests (Kunnan, 1998; Messick, 1989).

中文翻译：

---

口头安置测试验证的对话分析方法：注意纵向和横向比较

虽然之前的研究揭示了口语评估中发生的交互可变性，证明了它如何破坏测试有效性（例如，A. Brown，2003），但关于语言程序如何挖掘和分析内部口语分班测试的视频记录的报道很少用于验证目的。针对这一需求，本文展示了如何将干预主义对话分析 (CA) 方法作为补充的行动研究作为本地化和循环测试验证的工具来实施。本文报告了一个由口语分班考试面试官和 CA 研究人员组成的团队如何根据在分班考试互动期间观察到的谈话来迭代改进面试官培训材料和测试协议的过程。该研究围绕数据摘录的样本分析来举例说明两个数据比较程序，涉及同一迭代中的不同访问者（即横向比较）和参与培训课程后不同迭代中的同一访问者（即垂直比较）。它展示了正在进行的合作过程，其目标是为设计、实施和修改内部口头分级测试的人员提供可转移的见解。作者认为，测试验证的整体和统一方法，涉及研究人员和从业人员之间的持续对话，对于内部口头分级测试至关重要（Kunnan，1998 年；Messick，1989 年）。横向比较）和同一面试官在参加培训课程后的不同迭代中（即纵向比较）。它展示了正在进行的合作过程，其目标是为设计、实施和修改内部口头分级测试的人员提供可转移的见解。作者认为，测试验证的整体和统一方法，包括研究人员和从业者之间的持续对话，对于内部口头分级测试至关重要（Kunnan，1998；Messick，1989）。横向比较）和同一面试官在参加培训课程后的不同迭代中（即纵向比较）。它展示了正在进行的合作过程，其目标是为设计、实施和修改内部口头分级测试的人员提供可转移的见解。作者认为，测试验证的整体和统一方法，包括研究人员和从业者之间的持续对话，对于内部口头分级测试至关重要（Kunnan，1998；Messick，1989）。