Efficient multisensory integration is often influenced by other cognitive processes including, but not limited to, semantic congruency and focused endogenous attention. Semantic congruency can re-allocate processing resources to the location of a congruent stimulus, while attention can prioritize the integration of multi-sensory stimuli under focus. Here, we explore the robustness of this phenomenon in the context of three stimuli, two of which are in the focus of endogenous attention. Participants completed an endogenous attention task with a stimulus compound consisting of 3 different objects: (1) a visual object (V) in the foreground, (2) an auditory object (A), and (3) a visual background scene object (B). Three groups of participants focused their attention on either the visual object and auditory sound (Group VA, n = 30), the visual object and the background (VB, n = 27), or the auditory sound and the background (AB, n = 30), and judged the semantic congruency of the objects under focus. Congruency varied systematically across all 3 stimuli: All stimuli could be semantically incongruent (e.g., V, ambulance; A, church bell; and B, swimming-pool) or all could be congruent (e.g., V, lion; A, roar; and B, savannah), or two objects could be congruent with the remaining one incongruent to the other two (e.g., V, duck; A, quack; and B, phone booth). Participants exhibited a distinct pattern of errors: when participants attended two congruent objects (e.g., group VA: V, lion; A, roar), in the presence of an unattended, incongruent third object (e.g., B, bath room) they tended to make more errors than in any other stimulus combination. Drift diffusion modeling of the behavioral data revealed a significantly smaller drift rate in two-congruent-attended condition, indicating slower evidence accumulation, which was likely due to interference from the unattended, incongruent object. Interference with evidence accumulation occurred independently of which pair of objects was in the focus of attention, which suggests that the vulnerability of congruency judgments to incongruent unattended distractors is not affected by sensory modalities. A control analysis ruled out the simple explanation of a negative response bias. These findings implicate that our perceptual system is highly sensitive to semantic incongruencies even when they are not endogenously attended.

中文翻译：

---

语义不一致会干扰语义一致对象的跨模态集成中的内在注意。

高效的多感觉整合通常受其他认知过程的影响，这些认知过程包括但不限于语义一致性和内在关注集中。语义一致可以将处理资源重新分配到一致刺激的位置，而注意力可以优先关注焦点下的多感官刺激的集成。在这里，我们在三种刺激的背景下探索这种现象的鲁棒性，其中两种是内源性关注的焦点。参与者使用由3个不同的对象组成的刺激复合物完成了内源性注意力任务：（1）前景中的视觉对象（V），（2）听觉对象（A）和（3）视觉背景场景对象（B） ）。三组参与者将注意力集中在视觉对象和听觉声音上（VA组，n = 30），视觉对象和背景（VB，n = 27）或听觉声音和背景（AB，n = 30），并判断聚焦对象的语义一致性。所有三种刺激在系统上的一致性都不同：所有刺激在语义上可能不一致（例如V，救护车； A，教堂的钟声；和B，游泳池），或者所有刺激都可能是一致的（例如，V，狮子； A，吼声；和B，大草原）或两个物体可能与其余一个与其他两个物体不一致（例如，V，鸭子，A，嘎嘎声和B，电话亭）是一致的。参与者表现出明显的错误模式：当参与者参加两个相同的对象（例如VA组：V，狮子； A，咆哮）时，在无人值守，不一致的第三对象（例如B，浴室）的情况下，他们倾向于比任何其他刺激组合都要犯更多的错误。行为数据的漂移扩散模型显示，在两个一致的情况下，漂移速率明显较小，表明证据积累较慢，这很可能是由于来自无人看守，不一致的物体的干扰所致。对证据积累的干预与关注的对象无关，而与关注的对象无关，这表明一致判断对不一致的无人值守干扰物的脆弱性不受感觉方式的影响。对照分析排除了对负响应偏差的简单解释。这些发现表明，即使不是内生的，我们的感知系统对语义不一致也非常敏感。表示证据积累较慢，这很可能是由于无人看管且不一致的物体造成的干扰。对证据积累的干预与关注的对象无关，而与关注的对象无关，这表明一致判断对不一致的无人值守干扰物的脆弱性不受感觉方式的影响。对照分析排除了对负响应偏差的简单解释。这些发现表明，即使不是内生的，我们的感知系统对语义不一致也非常敏感。表示证据积累较慢，这很可能是由于无人看管且不一致的物体造成的干扰。对证据积累的干预与关注的对象无关，而与关注的对象无关，这表明一致判断对不一致的无人值守干扰物的脆弱性不受感觉方式的影响。对照分析排除了对负响应偏差的简单解释。这些发现表明，即使不是内生的，我们的感知系统对语义不一致也非常敏感。这表明一致性判断对不一致的无人值守干扰者的脆弱性不受感觉方式的影响。对照分析排除了对负响应偏差的简单解释。这些发现表明，即使不是内生的，我们的感知系统对语义不一致也非常敏感。这表明一致性判断对不一致的无人值守干扰者的脆弱性不受感觉方式的影响。对照分析排除了对负响应偏差的简单解释。这些发现表明，即使不是内生的，我们的感知系统对语义不一致也非常敏感。