Abstract Multisensory information can benefit perceptual, memory, and decision-making processes. These benefits commonly manifest in superior detection and discrimination of multisensory stimuli, as well as improved perception and subsequent memory of unisensory representation of an object previously encoded in a multisensory context. However, the vast majority of studies to date analyze accuracy, sensitivity and/or reaction time data independently to compare multisensory and unisensory conditions. Considering the well-established speed-accuracy trade-off, we asked whether some multisensory benefits go unnoticed when measured using traditional methods that do not take both reaction time and accuracy into account simultaneously, and whether an approach combining them can more reliably characterize and quantify the broad extent of multisensory interactions across perception and cognition. While drift diffusion models have been previously shown to be effective in addressing the speed-accuracy trade-off and providing a reliable and accurate measure of multisensory benefits, one impediment of this approach is the requirement of a large number of trials to estimate model parameters and to characterize effects. This may be prohibitive in many experimental paradigms. Several model variants attempt to reduce the required number of trials, either by averaging across participants or limiting the search space for the parameters. Here, we employed a hierarchical drift diffusion model, that utilizes Bayesian priors, allowing parameter estimation with smaller sample sizes while still making subject-specific parameter estimates. We analyzed data in perceptual detection and discrimination tasks across multiple sensory combinations, to investigate if the diffusion model would provide a sensitive and reliable measure of multisensory benefits. Results indicate that across visual, auditory and tactile modality combinations, the diffusion model was either as or more sensitive than traditional accuracy, sensitivity, or reaction time measures, and was the only measure that consistently detected multisensory benefits in a statistically significant fashion. We recommend the use of diffusion modeling approaches when assessing the outcomes of multisensory experiments, especially as they become more computationally efficient.

中文翻译：

---

通过扩散建模揭示多感官益处

摘要 多感官信息有益于知觉、记忆和决策过程。这些好处通常表现在对多感官刺激的卓越检测和区分，以及对先前在多感官环境中编码的对象的单感官表征的感知和后续记忆的改善。然而，迄今为止，绝大多数研究都是独立分析准确性、灵敏度和/或反应时间数据，以比较多感官和单感官条件。考虑到既定的速度与准确度之间的权衡，我们询问在使用未同时考虑反应时间和准确度的传统方法进行测量时，是否会忽略一些多感官优势，以及将它们结合起来的方法是否可以更可靠地表征和量化跨感知和认知的多感官交互的广泛范围。虽然漂移扩散模型先前已被证明在解决速度-精度权衡问题和提供可靠和准确的多感官益处测量方面是有效的，但这种方法的一个障碍是需要进行大量试验来估计模型参数和来表征效果。这在许多实验范式中可能是令人望而却步的。几个模型变体试图通过在参与者之间求平均值或限制参数的搜索空间来减少所需的试验次数。在这里，我们采用了分层漂移扩散模型，利用贝叶斯先验，允许使用较小样本量进行参数估计，同时仍然进行特定主题的参数估计。我们分析了跨多个感官组合的感知检测和辨别任务中的数据，以研究扩散模型是否能够提供敏感且可靠的多感官益处测量。结果表明，在视觉、听觉和触觉模式组合中，扩散模型与传统的准确性、灵敏度或反应时间测量一样敏感或更敏感，并且是唯一一种以统计显着的方式始终检测到多感官益处的测量。我们建议在评估多感官实验的结果时使用扩散建模方法，尤其是当它们变得更加计算效率时。我们分析了跨多种感官组合的感知检测和辨别任务中的数据，以研究扩散模型是否能够提供灵敏且可靠的多感官益处测量。结果表明，在视觉、听觉和触觉模式组合中，扩散模型与传统的准确性、灵敏度或反应时间测量一样敏感或更敏感，并且是唯一以统计显着的方式始终检测到多感官益处的测量。我们建议在评估多感官实验的结果时使用扩散建模方法，尤其是当它们变得更加计算效率时。我们分析了跨多个感官组合的感知检测和辨别任务中的数据，以研究扩散模型是否能够提供敏感且可靠的多感官益处测量。结果表明，在视觉、听觉和触觉模式组合中，扩散模型与传统的准确性、灵敏度或反应时间测量一样敏感或更敏感，并且是唯一一种以统计显着的方式始终检测到多感官益处的测量。我们建议在评估多感官实验的结果时使用扩散建模方法，尤其是当它们变得更加计算效率时。研究扩散模型是否能提供一种灵敏且可靠的多感官益处测量方法。结果表明，在视觉、听觉和触觉模式组合中，扩散模型与传统的准确性、灵敏度或反应时间测量一样敏感或更敏感，并且是唯一一种以统计显着的方式始终检测到多感官益处的测量。我们建议在评估多感官实验的结果时使用扩散建模方法，尤其是当它们变得更加计算效率时。研究扩散模型是否能提供一种灵敏且可靠的多感官益处测量方法。结果表明，在视觉、听觉和触觉模式组合中，扩散模型与传统的准确性、灵敏度或反应时间测量一样敏感或更敏感，并且是唯一一种以统计显着的方式始终检测到多感官益处的测量。我们建议在评估多感官实验的结果时使用扩散建模方法，尤其是当它们变得更加计算效率时。并且是唯一以统计显着的方式始终检测到多感官益处的措施。我们建议在评估多感官实验的结果时使用扩散建模方法，尤其是当它们变得更加计算效率时。并且是唯一以统计显着的方式始终检测到多感官益处的措施。我们建议在评估多感官实验的结果时使用扩散建模方法，尤其是当它们变得更加计算效率时。