Although language comprehension usually requires multimodal information, no study to date has investigated how comprehenders deal with the revision of a text's interpretation when different modalities are involved. Twenty-four young adults listened to a story prompting an inference (e.g., polar bear), and then saw a picture that was either consistent (polar bear) or inconsistent but still plausible (penguin). Larger negativity (N400) in the inconsistent picture indicated successful inferential monitoring. Subsequently, a sentence carried the disambiguating word which was either expected ("bear") or unexpected ("penguin") in relation to the auditory-verbal information. Larger negativity in the unexpected word coming from the consistent picture suggested that comprehenders had difficulties selecting the unexpected concept when previous information was contradictory. More importantly, this effect was modulated by inhibitory control, where a higher resistance to distractor interference (flanker task) was associated with a better ability to suppress pictorial information, therefore preventing semantic competition. Similarly, accuracy measured in a final comprehension question demonstrated that higher inhibitory control was related to a more efficient ability to revise the situation model across modalities. Our findings speak to a relationship between story comprehension and mental flexibility during multimodal processing.

中文翻译：

---

推理过程中的多模态语义修正：抑制控制在文本和图片理解中的作用。

尽管语言理解通常需要多模态信息，但迄今为止还没有研究调查理解者在涉及不同模态时如何处理文本解释的修订。24 名年轻人听了一个故事来引发推论（例如，北极熊），然后看到一张图片，要么是一致的（北极熊），要么是不一致但仍似是而非的图片（企鹅）。不一致图片中较大的负性 (N400) 表示推理监控成功。随后，一个句子带有与听觉语言信息相关的消歧词，该词是预期的（“熊”）或意外的（“企鹅”）。来自一致图片的意想不到的词中更大的消极性表明，当先前的信息相互矛盾时，理解者难以选择意想不到的概念。更重要的是，这种效果受到抑制控制的调节，其中对干扰干扰（侧卫任务）的更高抵抗力与更好的抑制图片信息的能力相关，从而防止语义竞争。同样，在最终理解问题中测量的准确性表明，更高的抑制控制与跨模式修改情境模型的更有效能力有关。我们的研究结果说明了多模式处理过程中故事理解和心理灵活性之间的关系。这种效果由抑制控制调节，其中对干扰干扰（侧卫任务）的更高抵抗力与更好的抑制图片信息的能力相关，从而防止语义竞争。同样，在最终理解问题中测量的准确性表明，更高的抑制控制与跨模式修改情境模型的更有效能力有关。我们的研究结果说明了多模式处理过程中故事理解和心理灵活性之间的关系。这种效果由抑制控制调节，其中对干扰干扰（侧卫任务）的更高抵抗力与更好的抑制图片信息的能力相关，从而防止语义竞争。同样，在最终理解问题中测量的准确性表明，更高的抑制控制与跨模式修改情境模型的更有效能力有关。我们的研究结果说明了多模式处理过程中故事理解和心理灵活性之间的关系。在最终理解问题中测量的准确性表明，更高的抑制控制与跨模式修改情境模型的更有效能力有关。我们的研究结果说明了多模式处理过程中故事理解和心理灵活性之间的关系。在最终理解问题中测量的准确性表明，更高的抑制控制与跨模式修改情境模型的更有效能力有关。我们的研究结果说明了多模式处理过程中故事理解和心理灵活性之间的关系。