There are thousands of participants in different programming MOOCs (Massive Open Online Courses) which means thousands of solutions have to be assessed. As it is very time-consuming to assess that amount of solutions manually, using automated assessment is essential. Since task requirements must be strict for the solutions to be automatically gradable, it often limits the types of different assignments and creativity. In order to promote more creativity we wanted to enable programming tasks with graphical output. In order to analyze and assess the creative tasks we developed, implemented and analyzed a system capable of assessing the graphical output of a solution program using image recognition. Image recognition is used to analyze the graphical output (image) produced by the solution program. The graphical output with a keyword attached to it is sent to an image recognition service provider that responds with a probability score. The solution is accepted or rejected based on the probability of a given object appearing in the image. The system was tested and evaluated in two runs of the MOOC “Introduction to Programming.” In the first run, we used the system to automatically assess the solutions of programming tasks on a predefined topic and in the second run on a topic chosen by the participant. The evaluation of the usefulness of the system and overview of participants’ feedback are presented as results. Suggestions for future improvements of the system and possible research are also listed.

有数千名参加不同编程MOOC（大规模开放在线课程）的参与者，这意味着必须评估成千上万种解决方案。由于手动评估解决方案量非常耗时，因此使用自动评估至关重要。由于必须严格执行任务要求才能使解决方案自动分级，因此通常会限制不同任务和创造力的类型。为了提高创造力，我们希望启用带有图形输出的编程任务。为了分析和评估创意任务，我们开发，实施和分析了一种能够使用图像识别评估解决方案程序的图形输出的系统。图像识别用于分析解决方案程序产生的图形输出（图像）。带有关键字的图形输出被发送到图像识别服务提供商，该提供商以概率分数作为响应。根据给定对象出现在图像中的概率来接受或拒绝该解决方案。该系统在两次MOOC“编程简介”中进行了测试和评估。在第一次运行中，我们使用系统自动评估针对预定义主题的编程任务的解决方案，而在第二次运行中，针对参与者选择的主题进行自动评估。系统的有用性评估和参与者反馈的概述均作为结果呈现。还列出了有关系统未来改进的建议和可能的研究。根据给定对象出现在图像中的概率来接受或拒绝该解决方案。该系统在两次MOOC“编程简介”中进行了测试和评估。在第一次运行中，我们使用系统自动评估针对预定义主题的编程任务的解决方案，而在第二次运行中，针对参与者选择的主题进行自动评估。系统的有用性评估和参与者反馈的概述均作为结果呈现。还列出了有关系统未来改进的建议和可能的研究。根据给定对象出现在图像中的概率来接受或拒绝该解决方案。该系统在两次MOOC“编程简介”中进行了测试和评估。在第一次运行中，我们使用系统自动评估针对预定义主题的编程任务的解决方案，而在第二次运行中，针对参与者选择的主题进行自动评估。系统的有用性评估和参与者反馈的概述均作为结果呈现。还列出了有关系统未来改进的建议和可能的研究。我们使用该系统自动评估针对预定义主题的编程任务的解决方案，并在第二次运行中针对参与者选择的主题进行评估。系统的有用性评估和参与者反馈的概述均作为结果呈现。还列出了有关系统未来改进的建议和可能的研究。我们使用该系统自动评估针对预定义主题的编程任务的解决方案，并在第二次运行中针对参与者选择的主题进行评估。系统的有用性评估和参与者反馈的概述均作为结果呈现。还列出了有关系统未来改进的建议和可能的研究。