Numerous methodologies for subjective quality assessment exist in the field of image processing. In particular, the Absolute Category Rating with Hidden Reference (ACR-HR), the Double Stimulus Impairment Scale (DSIS), and the Subjective Assessment Methodology for Video Quality (SAMVIQ) are considered three of the most prominent methods for assessing the visual quality of 2D images and videos. Are these methods valid/accurate to evaluate the perceived quality of 3D graphics data? Is the presence of an explicit reference necessary, due to the lack of human prior knowledge on 3D graphics data compared to natural images/videos? To answer these questions, we compare these three subjective methods (ACR-HR, DSIS, and SAMVIQ) on a dataset of high-quality colored 3D models, impaired with various distortions. These subjective experiments were conducted in a virtual reality environment. Our results show differences in the performance of the methods depending on the 3D contents and the types of distortions. We show that DSIS and SAMVIQ outperform ACR-HR in terms of accuracy and point out a stable performance. In regard to the time-effort, DSIS achieves the highest accuracy in the shortest assessment time. Results also yield interesting conclusions on the importance of a reference for judging the quality of 3D graphics. We finally provide recommendations regarding the influence of the number of observers on the accuracy.

中文翻译：

---

虚拟现实中 3D 图形质量评估的主观方法比较

图像处理领域存在许多用于主观质量评估的方法。特别是，具有隐藏参考的绝对类别评级 (ACR-HR)、双刺激损伤量表 (DSIS) 和视频质量主观评估方法 (SAMVIQ) 被认为是评估视频质量的三种最突出的方法。 2D 图像和视频。这些方法在评估 3D 图形数据的感知质量方面是否有效/准确？与自然图像/视频相比，由于缺乏人类对 3D 图形数据的先验知识，是否有必要提供明确的参考？为了回答这些问题，我们在一个高质量彩色 3D 模型数据集上比较了这三种主观方法（ACR-HR、DSIS 和 SAMVIQ），这些模型受到各种失真的影响。这些主观实验是在虚拟现实环境中进行的。我们的结果显示了方法的性能差异，具体取决于 3D 内容和失真类型。我们表明 DSIS 和 SAMVIQ 在准确性方面优于 ACR-HR，并指出了稳定的性能。在时间方面，DSIS在最短的评估时间内达到了最高的准确性。结果还得出了关于判断 3D 图形质量参考的重要性的有趣结论。我们最终提供了关于观察者数量对准确性的影响的建议。我们表明 DSIS 和 SAMVIQ 在准确性方面优于 ACR-HR，并指出了稳定的性能。在时间方面，DSIS在最短的评估时间内达到了最高的准确性。结果还得出了关于判断 3D 图形质量参考的重要性的有趣结论。我们最终提供了关于观察者数量对准确性的影响的建议。我们表明 DSIS 和 SAMVIQ 在准确性方面优于 ACR-HR，并指出了稳定的性能。在时间方面，DSIS在最短的评估时间内达到了最高的准确性。结果还得出了关于判断 3D 图形质量参考的重要性的有趣结论。我们最终提供了关于观察者数量对准确性的影响的建议。