Image-based rendering (IBR) creates realistic images by enriching simple geometries with photographs, e.g., mapping the photograph of a building façade onto a plane. However, as soon as the viewer moves away from the correct viewpoint, the image in the retina becomes distorted, sometimes leading to gross misperceptions of the original geometry. Two hypotheses from vision science state how viewers perceive such image distortions, one claiming that they can compensate for them (and therefore perceive scene geometry reasonably correctly), and one claiming that they cannot compensate (and therefore can perceive rather significant distortions). We modified the latter hypothesis so that it extends to street-level IBR. We then conducted a rigorous experiment that measured the magnitude of perceptual distortions that occur with IBR for façade viewing. We also conducted a rating experiment that assessed the acceptability of the distortions. The results of the two experiments were consistent with one another. They showed that viewers' percepts are indeed distorted, but not as severely as predicted by the modified vision science hypothesis. From our experimental results, we develop a predictive model of distortion for street-level IBR, which we use to provide guidelines for acceptability of virtual views and for capture camera density. We perform a confirmatory study to validate our predictions, and illustrate their use with an application that guides users in IBR navigation to stay in regions where virtual views yield acceptable perceptual distortions.

中文翻译：

---

在基于图像的渲染中感知透视失真

基于图像的渲染 (IBR) 通过用照片丰富简单的几何图形来创建逼真的图像，例如，将建筑立面的照片映射到平面上。然而，一旦观察者离开正确的视点，视网膜中的图像就会失真，有时会导致对原始几何形状的严重误解。来自视觉科学的两种假设陈述了观看者如何感知这种图像失真，一种声称他们可以补偿它们（因此可以合理正确地感知场景几何形状），另一种声称他们无法补偿（因此可以感知相当大的失真）。我们修改了后一个假设，使其扩展到街道级别的 IBR。然后，我们进行了一项严格的实验，该实验测量了 IBR 发生的立面观察感知失真的程度。我们还进行了一项评级实验，评估扭曲的可接受性。两个实验的结果彼此一致。他们表明观众的感知确实被扭曲了，但没有修正的视觉科学假设所预测的那么严重。根据我们的实验结果，我们开发了街道级 IBR 失真的预测模型，我们用它来为虚拟视图的可接受性和捕获相机密度提供指导。我们进行了一项验证性研究以验证我们的预测，并通过一个应用程序来说明它们的使用，该应用程序可引导用户在 IBR 导航中停留在虚拟视图产生可接受的感知失真的区域。两个实验的结果彼此一致。他们表明观众的感知确实被扭曲了，但没有修正的视觉科学假设所预测的那么严重。根据我们的实验结果，我们开发了街道级 IBR 失真的预测模型，我们用它来为虚拟视图的可接受性和捕获相机密度提供指导。我们进行了一项验证性研究以验证我们的预测，并通过一个应用程序来说明它们的使用，该应用程序可引导用户在 IBR 导航中停留在虚拟视图产生可接受的感知失真的区域。两个实验的结果彼此一致。他们表明观众的感知确实被扭曲了，但没有修正的视觉科学假设所预测的那么严重。根据我们的实验结果，我们开发了街道级 IBR 失真的预测模型，我们用它来为虚拟视图的可接受性和捕获相机密度提供指导。我们进行了一项验证性研究以验证我们的预测，并通过一个应用程序来说明它们的使用，该应用程序可引导用户在 IBR 导航中停留在虚拟视图产生可接受的感知失真的区域。我们为街道级 IBR 开发了一个失真预测模型，我们用它来为虚拟视图的可接受性和捕获相机密度提供指导。我们进行了一项验证性研究以验证我们的预测，并通过一个应用程序来说明它们的使用，该应用程序可引导用户在 IBR 导航中停留在虚拟视图产生可接受的感知失真的区域。我们为街道级 IBR 开发了一个失真预测模型，我们用它来为虚拟视图的可接受性和捕获相机密度提供指导。我们进行了一项验证性研究以验证我们的预测，并通过一个应用程序来说明它们的使用，该应用程序可引导用户在 IBR 导航中停留在虚拟视图产生可接受的感知失真的区域。