The McGurk effect, an incongruent pairing of visual /ga/–acoustic /ba/, creates a fusion illusion /da/ and is the cornerstone of research in audiovisual speech perception. Combination illusions occur given reversal of the input modalities—auditory /ga/-visual /ba/, and percept /bga/. A robust literature shows that fusion illusions in an oddball paradigm evoke a mismatch negativity (MMN) in the auditory cortex, in absence of changes to acoustic stimuli. We compared fusion and combination illusions in a passive oddball paradigm to further examine the influence of visual and auditory aspects of incongruent speech stimuli on the audiovisual MMN. Participants viewed videos under two audiovisual illusion conditions: fusion with visual aspect of the stimulus changing, and combination with auditory aspect of the stimulus changing, as well as two unimodal auditory- and visual-only conditions. Fusion and combination deviants exerted similar influence in generating congruency predictions with significant differences between standards and deviants in the N100 time window. Presence of the MMN in early and late time windows differentiated fusion from combination deviants. When the visual signal changes, a new percept is created, but when the visual is held constant and the auditory changes, the response is suppressed, evoking a later MMN. In alignment with models of predictive processing in audiovisual speech perception, we interpreted our results to indicate that visual information can both predict and suppress auditory speech perception.

中文翻译：

---

视听奇数范例中模态敏感偏差检测的神经相关性。

McGurk效应是视觉/ ga /-声学/ ba /的不匹配配对，会产生融合幻觉/ da /，并且是视听语音感知研究的基石。在输入模态反转的情况下出现组合错觉，即听觉/ ga / -visual / ba /和感知/ bga /。有力的文献表明，在不改变声刺激的情况下，奇异球范式中的融合错觉会在听觉皮层中引起失配负性（MMN）。我们比较了被动奇数球范式中的融合和组合幻觉，以进一步检查不一致的言语刺激在视觉和听觉方面对视听MMN的影响。参加者在两种视听错觉条件下观看了视频：与刺激变化的视觉方面融合在一起，与刺激变化的听觉方面结合在一起，以及两个单峰听觉和视觉条件。融合和组合偏差在生成一致性预测时产生了相似的影响，在N100时间窗口中标准和偏差之间存在显着差异。MMN的出现在早期和晚期窗口中都使融合与组合异常有所区别。当视觉信号发生变化时，会创建一个新的感知，但当视觉保持不变并且听觉发生变化时，响应会受到抑制，从而引发了后来的MMN。与视听语音感知中的预测处理模型保持一致，我们解释了我们的结果以表明视觉信息可以预测和抑制听觉语音感知。融合和组合偏差在生成一致性预测时产生了相似的影响，在N100时间窗口中标准和偏差之间存在显着差异。MMN的出现在早期和晚期窗口中都使融合与组合异常有所区别。当视觉信号发生变化时，会创建一个新的感知，但是当视觉保持不变并且听觉发生变化时，响应会受到抑制，从而引发了后来的MMN。与视听语音感知中的预测处理模型保持一致，我们解释了我们的结果以表明视觉信息可以预测和抑制听觉语音感知。融合和组合偏差在生成一致性预测时产生了相似的影响，在N100时间窗口中标准和偏差之间存在显着差异。MMN的出现在早期和晚期窗口中都使融合与组合异常有所区别。当视觉信号发生变化时，会创建一个新的感知，但当视觉保持不变并且听觉发生变化时，响应会受到抑制，从而引发了后来的MMN。与视听语音感知中的预测处理模型保持一致，我们对结果进行了解释，以表明视觉信息可以预测和抑制听觉语音感知。创建了一个新的感知器，但是当视觉保持恒定并且听觉发生变化时，响应被抑制，从而引发了后来的MMN。与视听语音感知中的预测处理模型保持一致，我们解释了我们的结果以表明视觉信息可以预测和抑制听觉语音感知。创建了一个新的感知器，但是当视觉保持恒定并且听觉发生变化时，响应被抑制，从而引发了后来的MMN。与视听语音感知中的预测处理模型保持一致，我们解释了我们的结果以表明视觉信息可以预测和抑制听觉语音感知。