Indoor scene images usually contain scattered objects and various scene layouts, which make RGB-D scene classification a challenging task. Existing methods still have limitations for classifying scene images with great spatial variability. Thus, how to extract local patch-level features effectively using only image label is still an open problem for RGB-D scene recognition. In this article, we propose an efficient framework for RGB-D scene recognition, which adaptively selects important local features to capture the great spatial variability of scene images. Specifically, we design a differentiable local feature selection (DLFS) module, which can extract the appropriate number of key local scene-related features. Discriminative local theme-level and object-level representations can be selected with DLFS module from the spatially-correlated multi-modal RGB-D features. We take advantage of the correlation between RGB and depth modalities to provide more cues for selecting local features. To ensure that discriminative local features are selected, the variational mutual information maximization loss is proposed. Additionally, the DLFS module can be easily extended to select local features of different scales. By concatenating the local-orderless and global-structured multi-modal features, the proposed framework can achieve state-of-the-art performance on public RGB-D scene recognition datasets.

中文翻译：

---

ASK：为RGB-D场景识别自适应选择关键局部特征

室内场景图像通常包含分散的对象和各种场景布局，这使RGB-D场景分类成为一项艰巨的任务。现有方法仍存在局限性，以大的空间可变性对场景图像进行分类。因此，如何仅使用图像标签有效地提取局部补丁级别特征仍然是RGB-D场景识别的未解决问题。在本文中，我们提出了一种用于RGB-D场景识别的有效框架，该框架自适应地选择重要的局部特征以捕获场景图像的巨大空间变异性。具体来说，我们设计了一个可区分的局部特征选择（DLFS）模块，该模块可以提取适当数量的关键局部场景相关特征。可以使用DLFS模块从空间相关的多模式RGB-D功能中选择具有区别性的局部主题级别和对象级别的表示形式。我们利用RGB与深度模态之间的相关性，为选择局部特征提供了更多线索。为了确保选择具有区别性的局部特征，提出了变分互信息最大化损失。此外，可以轻松扩展DLFS模块以选择不同比例的局部特征。通过串联局部无序和全局结构的多模式特征，提出的框架可以在公共RGB-D场景识别数据集上实现最先进的性能。为了确保选择具有区别性的局部特征，提出了变分互信息最大化损失。此外，可以轻松扩展DLFS模块以选择不同比例的局部特征。通过串联局部无序和全局结构的多模式特征，提出的框架可以在公共RGB-D场景识别数据集上实现最先进的性能。为了确保选择具有区别性的局部特征，提出了变分互信息最大化损失。此外，可以轻松扩展DLFS模块以选择不同比例的局部特征。通过串联局部无序和全局结构的多模式特征，提出的框架可以在公共RGB-D场景识别数据集上实现最先进的性能。