In this paper we present a study on the effects of auditory- and haptic feedback in a virtual throwing task performed with a point-based haptic device. The main research objective was to investigate if and how task performance and perceived intuitiveness is affected when interactive sonification and/or haptic feedback is used to provide real-time feedback about a movement performed in a 3D virtual environment. Emphasis was put on task solving efficiency and subjective accounts of participants’ experiences of the multimodal interaction in different conditions. The experiment used a within-subjects design in which the participants solved the same task in different conditions: visual-only, visuohaptic, audiovisual and audiovisuohaptic. Two different sound models were implemented and compared. Significantly lower error rates were obtained in the audiovisuohaptic condition involving movement sonification based on a physical model of friction, compared to the visual-only condition. Moreover, a significant increase in perceived intuitiveness was observed for most conditions involving haptic and/or auditory feedback, compared to the visual-only condition. The main finding of this study is that multimodal feedback can not only improve perceived intuitiveness of an interface but that certain combinations of haptic feedback and movement sonification can also contribute with performance-enhancing properties. This highlights the importance of carefully designing feedback combinations for interactive applications.

中文翻译：

---

触觉反馈与使用摩擦声的运动声音结合在一起，可改善虚拟投掷任务中的任务性能

在本文中，我们对基于点的触觉设备执行的虚拟投掷任务中听觉和触觉反馈的影响进行了研究。主要研究目标是调查使用交互式声波处理和/或触觉反馈来提供有关在3D虚拟环境中执行的运动的实时反馈时，任务性能和感知的直觉性是否受到影响以及如何受到影响。重点放在任务解决效率和参与者在不同条件下的多式联运经验的主观说明上。实验采用了受试者内部设计，参与者在不同的条件下完成了相同的任务：纯视觉，视觉，视听和视觉。实施并比较了两种不同的声音模型。与仅视觉条件相比，在基于摩擦物理模型的涉及运动声化的视听条件下，获得的错误率明显更低。而且，与仅视觉条件相比，对于大多数涉及触觉和/或听觉反馈的条件，观察到的直觉性显着提高。这项研究的主要发现是，多模式反馈不仅可以改善界面的直观感，而且触觉反馈和运动声波的某些组合也可以提高性能。这突出了为交互式应用程序精心设计反馈组合的重要性。而且，与仅视觉条件相比，对于大多数涉及触觉和/或听觉反馈的条件，观察到的直觉性显着提高。这项研究的主要发现是，多模式反馈不仅可以改善界面的直观感，而且触觉反馈和运动声波的某些组合也可以提高性能。这突出了为交互式应用程序精心设计反馈组合的重要性。而且，与仅视觉条件相比，对于大多数涉及触觉和/或听觉反馈的条件，观察到的直觉性显着提高。这项研究的主要发现是，多模式反馈不仅可以改善界面的直观感，而且触觉反馈和运动声波的某些组合也可以提高性能。这突出了为交互式应用程序精心设计反馈组合的重要性。这项研究的主要发现是，多模式反馈不仅可以改善界面的直观感，而且触觉反馈和运动声波的某些组合也可以提高性能。这突出了为交互式应用程序精心设计反馈组合的重要性。这项研究的主要发现是，多模式反馈不仅可以改善界面的直观感，而且触觉反馈和运动声波的某些组合也可以提高性能。这突出了为交互式应用程序精心设计反馈组合的重要性。