Abstract For one given scene, multimodal data are acquired from multiple sensors. They share some similarities across the sensor types (redundant part of the information, also called coupling part) and they also provide modality-specific information (dissimilarities across the sensors, also called decoupling part). Additional critical knowledge about the scene can hence be extracted, which is not extractable from each modality alone. For the processing of multimodal data, we propose in this paper a model to simultaneously learn the underlying low-dimensional manifold in each modality, and locally align these manifolds across different modalities. For each pair of modalities we first build a common manifold that represents the corresponding (redundant) part of information, ignoring non-corresponding (modality specific) parts. We propose a semi-supervised learning model, using a limited amount of prior knowledge about the coupling and decoupling components of the different modalities. We propose a localized version of Laplacian eigenmaps technique specifically designed to handle multimodal manifold learning, in which the ideas of local patching of the manifolds, also known as manifold charting, is combined with the joint spectral analysis of the graph Laplacians of the different modalities. The limited given supervised information is then extending on the manifold of each modality. The idea of functional mapping is finally used to align the different manifolds across modalities. The evaluation of the proposed model using synthetic and real-world multimodal problems shows promising results, compared to several related techniques.

中文翻译：

---

光谱多模态流形学习和对齐的半监督制图

摘要 对于一个给定的场景，从多个传感器获取多模态数据。它们在传感器类型之间共享一些相似之处（信息的冗余部分，也称为耦合部分），并且它们还提供特定于模态的信息（传感器之间的不同之处，也称为去耦合部分）。因此，可以提取关于场景的其他关键知识，这不能单独从每个模态中提取。对于多模态数据的处理，我们在本文中提出了一种模型，可以同时学习每种模态中的底层低维流形，并在不同的模态中局部对齐这些流形。对于每对模态，我们首先构建一个公共流形，它代表信息的相应（冗余）部分，忽略非对应（模态特定）部分。我们提出了一个半监督学习模型，使用有限数量的关于不同模式的耦合和解耦组件的先验知识。我们提出了一个局部版本的拉普拉斯特征图技术，专门设计用于处理多模态流形学习，其中流形局部修补的思想，也称为流形图，与不同模态的拉普拉斯图的联合谱分析相结合。有限的给定监督信息然后扩展到每个模态的流形上。功能映射的思想最终用于对齐不同模态的不同流形。与几种相关技术相比，使用合成和现实世界多模态问题对所提出模型的评估显示出有希望的结果。使用关于不同模态的耦合和解耦组件的有限先验知识。我们提出了一个局部版本的拉普拉斯特征图技术，专门设计用于处理多模态流形学习，其中流形局部修补的思想，也称为流形图，与不同模态的拉普拉斯图的联合谱分析相结合。有限的给定监督信息然后扩展到每个模态的流形上。功能映射的思想最终用于对齐不同模态的不同流形。与几种相关技术相比，使用合成和现实世界多模态问题对所提出模型的评估显示出有希望的结果。使用关于不同模态的耦合和解耦组件的有限先验知识。我们提出了一个局部版本的拉普拉斯特征图技术，专门设计用于处理多模态流形学习，其中流形局部修补的思想，也称为流形图，与不同模态的拉普拉斯图的联合谱分析相结合。有限的给定监督信息然后扩展到每个模态的流形上。功能映射的思想最终用于对齐不同模态的不同流形。与几种相关技术相比，使用合成和现实世界多模态问题对所提出模型的评估显示出有希望的结果。