The recent development of the on-chip micro-polarizer technology has made it possible to acquire – with the same ease of operation as a conventional camera – spatially aligned and temporally synchronized polarization images simultaneously in four orientations. This development has created new opportunities for interesting applications including those in robotics. In this letter, we investigate the use of this sensor technology in high-dynamic-range (HDR) imaging. Specifically, observing that natural light can be attenuated differently by varying the direction of the polarization filter, we treat the multiple images captured by the polarization camera as a set captured at different exposure times, useful to the reconstruction of an HDR image. In our approach, we first study the radiometric model of the polarization camera, and relate the polarizer direction, degree and angle of polarization of light to the exposure time of a pixel in the polarization images. Subsequently, by applying the standard radiometric calibration procedure of a camera, we recover the camera response function. With multiple polarization images at known pixel-specific exposure times, we can then proceed to estimate the irradiance maps from the images and generate an HDR image. Two datasets are created to evaluate our approach, and experimental results show the dynamic range by our approach can be increased by an amount dependent on light polarization. We also use two robotics experiments on feature matching and visual odometry to demonstrate the potential benefit of this increased dynamic range.

中文翻译：

---

基于偏光相机的HDR重建

片上微偏振器技术的最新发展使得在四个方向上同时获取空间对齐和时间同步的偏振图像成为可能——与传统相机一样易于操作。这一发展为包括机器人技术在内的有趣应用创造了新的机会。在这封信中，我们研究了这种传感器技术在高动态范围 (HDR) 成像中的使用。具体来说，观察到自然光可以通过改变偏振滤光器的方向不同地衰减，我们将偏振相机捕获的多张图像视为在不同曝光时间捕获的一组图像，这对重建 HDR 图像很有用。在我们的方法中，我们首先研究偏振相机的辐射模型，将偏振光的偏振方向、偏振度和偏振角度与偏振图像中像素的曝光时间相关联。随后，通过应用相机的标准辐射校准程序，我们恢复了相机响应函数。使用已知像素特定曝光时间的多个偏振图像，我们可以继续从图像估计辐照度图并生成 HDR 图像。创建了两个数据集来评估我们的方法，实验结果表明我们的方法的动态范围可以增加一个取决于光偏振的量。我们还使用了两个关于特征匹配和视觉里程计的机器人实验来证明这种增加的动态范围的潜在好处。光的偏振度和角度与偏振图像中像素的曝光时间。随后，通过应用相机的标准辐射校准程序，我们恢复了相机响应函数。使用已知像素特定曝光时间的多个偏振图像，我们可以继续从图像估计辐照度图并生成 HDR 图像。创建了两个数据集来评估我们的方法，实验结果表明我们的方法的动态范围可以增加一个取决于光偏振的量。我们还使用了两个关于特征匹配和视觉里程计的机器人实验来证明这种增加的动态范围的潜在好处。光的偏振度和角度与偏振图像中像素的曝光时间。随后，通过应用相机的标准辐射校准程序，我们恢复了相机响应函数。使用已知像素特定曝光时间的多个偏振图像，我们可以继续从图像估计辐照度图并生成 HDR 图像。创建了两个数据集来评估我们的方法，实验结果表明我们的方法的动态范围可以增加一个取决于光偏振的量。我们还使用了两个关于特征匹配和视觉里程计的机器人实验来证明这种增加的动态范围的潜在好处。使用已知像素特定曝光时间的多个偏振图像，我们可以继续从图像估计辐照度图并生成 HDR 图像。创建了两个数据集来评估我们的方法，实验结果表明我们的方法的动态范围可以增加一个取决于光偏振的量。我们还使用了两个关于特征匹配和视觉里程计的机器人实验来证明这种增加的动态范围的潜在好处。使用已知像素特定曝光时间的多个偏振图像，我们可以继续从图像估计辐照度图并生成 HDR 图像。创建了两个数据集来评估我们的方法，实验结果表明我们的方法的动态范围可以增加一个取决于光偏振的量。我们还使用了两个关于特征匹配和视觉里程计的机器人实验来证明这种增加的动态范围的潜在好处。