The use of automatic grading tools has become nearly ubiquitous in large undergraduate programming courses, and recent work has focused on improving the quality of automatically generated feedback. However, there is a relative lack of data directly comparing student outcomes when receiving computer-generated feedback and human-written feedback. This paper addresses this gap by splitting one 90-student class into two feedback groups and analyzing differences in the two cohorts' performance. The class is an intro to AI with programming HW assignments. One group of students received detailed computer-generated feedback on their programming assignments describing which parts of the algorithms' logic was missing; the other group additionally received human-written feedback describing how their programs' syntax relates to issues with their logic, and qualitative (style) recommendations for improving their code. Results on quizzes and exam questions suggest that human feedback helps students obtain a better conceptual understanding, but analyses found no difference between the groups' ability to collaborate on the final project. The course grade distribution revealed that students who received human-written feedback performed better overall; this effect was the most pronounced in the middle two quartiles of each group. These results suggest that feedback about the syntax-logic relation may be a primary mechanism by which human feedback improves student outcomes.

中文翻译：

---

人与自动反馈对学生理解AI概念和编程风格的影响

在大型的本科编程课程中，自动评分工具的使用已变得几乎无处不在，并且最近的工作集中在提高自动生成的反馈的质量上。但是，在接收计算机生成的反馈和人工编写的反馈时，相对缺乏直接比较学生成绩的数据。本文通过将一个90名学生的班级分为两个反馈组并分析两个队列的表现差异来解决这一差距。该课程是对AI进行编程的硬件入门的入门课程。一组学生收到了由计算机生成的有关他们的编程作业的详细反馈，这些反馈描述了算法逻辑的哪些部分缺失；另一个小组还收到了人工反馈，描述了他们的程序如何 语法涉及其逻辑问题，以及用于改进其代码的定性（样式）建议。测验和试题的结果表明，人的反馈可以帮助学生获得更好的概念理解，但分析发现，小组在最终项目上的协作能力没有区别。课程成绩分布表明，收到人工反馈的学生总体上表现更好；在每个组的中间两个四分位数中，这种影响最为明显。这些结果表明，关于语法-逻辑关系的反馈可能是人类反馈改善学生成绩的主要机制。测验和试题的结果表明，人的反馈可以帮助学生获得更好的概念理解，但分析发现，小组在最终项目上的协作能力没有区别。课程成绩分布表明，收到人工反馈的学生总体上表现更好；在每个组的中间两个四分位数中，这种影响最为明显。这些结果表明，关于语法-逻辑关系的反馈可能是人类反馈改善学生成绩的主要机制。测验和试题的结果表明，人的反馈可以帮助学生获得更好的概念理解，但分析发现，小组在最终项目上的协作能力没有区别。课程成绩分布表明，收到人工反馈的学生总体上表现更好；在每个组的中间两个四分位数中，这种影响最为明显。这些结果表明，关于语法-逻辑关系的反馈可能是人类反馈改善学生成绩的主要机制。在每个组的中间两个四分位数中，这种影响最为明显。这些结果表明，关于语法-逻辑关系的反馈可能是人类反馈改善学生成绩的主要机制。在每个组的中间两个四分位数中，这种影响最为明显。这些结果表明，关于语法-逻辑关系的反馈可能是人类反馈改善学生成绩的主要机制。