Illumination variance is a major challenge for vision-based robotics. Most approaches focus on alleviating illumination changes in already captured images. Despite the large utility, camera attributes have been empirically determined to function in a highly passive manner, yielding vision algorithm failure under radical illumination variance. Recent studies have proposed exposure and gain control schemes that could maximize image information and eschew saturation. In this article, we propose a proactive control scheme for the camera's two dominant attributes—exposure time and gain control. Unlike existing approaches, we formulate this camera attribute control as an optimization problem in which the underlying function is not known a priori. We first define a new metric of the image regarding these two major attributes to include both image gradients and signal-to-noise ratio simultaneously. Based on this metric, we introduce a new formulation for this attribute control via Bayesian optimization (BO) and learn the environmental change from the captured image. During the control, to mitigate the burden of image acquisition and Bayesian optimization, images are synthesized using a camera response function and avoided the actual frame grab from the camera. The proposed method was validated in light-flickering indoor, outdoor near sunset, and indoor–outdoor transient environments where light changes rapidly, supporting 20–40 Hz frame rates.

中文翻译：

---

使用贝叶斯优化的主动相机属性控制进行照明弹性视觉导航

光照变化是基于视觉的机器人技术的主要挑战。大多数方法侧重于减轻已捕获图像中的光照变化。尽管有很大的效用，但相机属性已根据经验确定以高度被动的方式起作用，在根本照明变化下产生视觉算法失败。最近的研究提出了可以最大化图像信息并避免饱和的曝光和增益控制方案。在本文中，我们针对相机的两个主要属性——曝光时间和增益控制提出了一种主动控制方案。与现有方法不同，我们将此相机属性控制表述为一个优化问题，其中底层函数是先验未知的。我们首先定义关于这两个主要属性的图像的新度量，以同时包括图像梯度和信噪比。基于此指标，我们通过贝叶斯优化 (BO) 为该属性控制引入了一种新公式，并从捕获的图像中学习环境变化。在控制过程中，为了减轻图像采集和贝叶斯优化的负担，使用相机响应函数合成图像，避免了相机的实际帧抓取。所提出的方法在灯光闪烁的室内、接近日落的室外和室内外瞬态环境中得到了验证，这些环境中光线变化很快，支持 20-40 Hz 的帧速率。我们通过贝叶斯优化 (BO) 为该属性控制引入了一种新公式，并从捕获的图像中学习环境变化。在控制过程中，为了减轻图像采集和贝叶斯优化的负担，使用相机响应函数合成图像，避免了相机的实际帧抓取。所提出的方法在灯光闪烁的室内、接近日落的室外和室内外瞬态环境中得到了验证，这些环境中光线变化很快，支持 20-40 Hz 的帧速率。我们通过贝叶斯优化 (BO) 为该属性控制引入了一种新公式，并从捕获的图像中学习环境变化。在控制过程中，为了减轻图像采集和贝叶斯优化的负担，使用相机响应函数合成图像，避免了相机的实际帧抓取。所提出的方法在灯光闪烁的室内、接近日落的室外和室内外瞬态环境中得到了验证，这些环境中光线变化很快，支持 20-40 Hz 的帧速率。