This paper argues that meaning-making with multimodal representations in science learning is always contextualized within a genre and, conversely, what constitutes an ongoing genre also depends on a multimodal coordination of speech, gesture, diagrams, symbols, and material objects. In social semiotics, a genre is a culturally evolved way of doing things with language (including non-verbal representations). Genre provides a useful lens to understand how a community’s cultural norms and practices shape the use of language in various human activities. Despite this understanding, researchers have seldom considered the role of scientific genres (e.g., experimental account, information report, explanation) to understand how students in science classrooms make meanings as they use and construct multimodal representations. This study is based on an enactment of a drawing-to-learn approach in a primary school classroom in Australia, with data generated from classroom videos and students’ artifacts. Using multimodal discourse analysis informed by social semiotics, we analyze how the semantic variations in students’ representations correspond to the recurring genres they were enacting. We found a general pattern in the use and creation of representations across different scientific genres that support the theory of a mutual contextualization between genre and representation construction.

本文认为，在科学学习中具有多模式表示的意义表达总是在一种类型中进行情境化，相反，构成一种正在进行的类型也取决于语音，手势，图表，符号和物质对象的多模式协调。在社会符号学中，体裁是一种文化演变的用语言（包括非语言表示形式）做事的方式。体裁提供了一个有用的视角，可以用来理解社区的文化规范和实践如何塑造语言在各种人类活动中的使用。尽管有这种理解，研究人员却很少考虑科学体裁的作用（例如，实验记录，信息报告，解释），以了解科学教室中的学生在使用和构建多模式表示时是如何表达意义的。这项研究基于澳大利亚一所小学教室采用绘画教学的方法，该方法使用了教室视频和学生的人工制品产生的数据。利用社会符号学所提供的多模态话语分析，我们分析了学生表征中的语义变化如何与他们反复出现的体裁相对应。我们发现在跨不同科学类型的表示的使用和创建中，存在一种普遍的模式，该模式支持类型和表示构造之间相互关联的理论。我们分析了学生表征中的语义变化如何与他们反复出现的体裁相对应。我们发现在跨不同科学类型的表示的使用和创建中存在一个通用模式，该模式支持类型和表示构造之间相互关联的理论。我们分析了学生表征中的语义变化如何与他们反复出现的体裁相对应。我们发现在跨不同科学类型的表示的使用和创建中，存在一种普遍的模式，该模式支持类型和表示构造之间相互关联的理论。