This article proposes a new method for subjective 3D video quality assessment based on crowdsourced workers—Crowd3D. The limitations of traditional laboratory-based grade collection procedures are outlined, and their solution through the use of a crowd-based approach is described. Several conceptual and technical requirements of crowd-based 3D video quality assessment methods are identified and the solutions adopted described in detail. The system built takes the form of a web-based platform that supports 3D video monitors, and orchestrates the entire process of observer validation, content presentation and quality, depth, and comfort grade recording in a remote database. The crowdsourced subjective 3D quality assessment system uses as source contents a set of 3D video and grades database assembled earlier in a laboratory setting. To evaluate the validity of the crowd-based approach, the grades gathered using the crowdsourced system were analysed and compared to a set of grades obtained in laboratory settings using the same data set. Results show that it is possible to obtain Pearson’s and Spearman’s correlation up to 0.95 for quality Difference Mean Opinion Score and 0.96 for quality Mean Opinion Score, when comparing with laboratory grades. Apart from the present study, the 3D video quality assessment platform proposed can be used with advantage for further related research activities, reducing the time and cost compared to the traditional laboratory-based quality assessments.

中文翻译：

---

众包主观 3D 视频质量评估

本文提出了一种基于众包工作者的主观 3D 视频质量评估新方法——Crowd3D。概述了传统的基于实验室的等级收集程序的局限性，并描述了它们通过使用基于人群的方法的解决方案。确定了基于人群的 3D 视频质量评估方法的几个概念和技术要求，并详细描述了所采用的解决方案。构建的系统采用基于网络的平台形式，支持 3D 视频监视器，并在远程数据库中协调观察者验证、内容呈现和质量、深度和舒适度记录的整个过程。众包主观 3D 质量评估系统使用一组早期在实验室环境中组装的 3D 视频和等级数据库作为源内容。为了评估基于人群的方法的有效性，对使用众包系统收集的成绩进行了分析，并将其与使用相同数据集在实验室环境中获得的一组成绩进行了比较。结果表明，当与实验室等级进行比较时，可以获得高达 0.95 的质量差异平均意见得分和 0.96 的质量平均意见得分的 Pearson 和 Spearman 相关性。除了目前的研究，所提出的 3D 视频质量评估平台可用于进一步的相关研究活动，与传统的基于实验室的质量评估相比，减少了时间和成本。结果表明，当与实验室等级进行比较时，可以获得高达 0.95 的质量差异平均意见得分和 0.96 的质量平均意见得分的 Pearson 和 Spearman 相关性。除了目前的研究，所提出的 3D 视频质量评估平台可用于进一步的相关研究活动，与传统的基于实验室的质量评估相比，减少了时间和成本。结果表明，当与实验室等级进行比较时，可以获得高达 0.95 的质量差异平均意见得分和 0.96 的质量平均意见得分的 Pearson 和 Spearman 相关性。除了目前的研究，所提出的 3D 视频质量评估平台可用于进一步的相关研究活动，与传统的基于实验室的质量评估相比，减少了时间和成本。