This paper addresses cross-domain visual search, where visual queries retrieve category samples from a different domain. For example, we may want to sketch an airplane and retrieve photographs of airplanes. Despite considerable progress, the search occurs in a closed setting between two pre-defined domains. In this paper, we make the step towards an open setting where multiple visual domains are available. This notably translates into a search between any pair of domains, from a combination of domains or within multiple domains. We introduce a simple – yet effective – approach. We formulate the search as a mapping from every visual domain to a common semantic space, where categories are represented by hyperspherical prototypes. Open cross-domain visual search is then performed by searching in the common semantic space, regardless of which domains are used as source or target. Domains are combined in the common space to search from or within multiple domains simultaneously. A separate training of every domain-specific mapping function enables an efficient scaling to any number of domains without affecting the search performance. We empirically illustrate our capability to perform open cross-domain visual search in three different scenarios. Our approach is competitive with respect to existing closed settings, where we obtain state-of-the-art results on several benchmarks for three sketch-based search tasks.

本文介绍了跨域视觉搜索，其中视觉查询从另一个域检索类别样本。例如，我们可能想绘制一架飞机并检索飞机的照片。尽管取得了很大进展，但是搜索是在两个预定义域之间的封闭设置中进行的。在本文中，我们朝着开放设置迈进了一步，在开放设置中可以使用多个视觉域。明显地，这转化为在任意一对域之间，从域的组合中或在多个域中的搜索。我们介绍一种简单但有效的方法。我们将搜索公式化为从每个视觉域到公共语义空间的映射，其中类别由超球形原型表示。然后，通过在公共语义空间中进行搜索来执行开放式跨域视觉搜索，无论将哪个域用作源或目标。域在公共空间中组合在一起，可以同时从多个域中搜索或在多个域中搜索。对每个特定于域的映射功能进行单独训练，可以在不影响搜索性能的情况下有效地扩展到任意数量的域。我们从经验上说明了我们在三种不同情况下执行开放式跨域视觉搜索的能力。与现有的封闭设置相比，我们的方法具有竞争优势，在封闭设置中，我们可以在基于三个草图搜索任务的多个基准上获得最新的结果。对每个特定于域的映射功能进行单独训练，可以有效地扩展到任意数量的域，而不会影响搜索性能。我们从经验上说明了我们在三种不同情况下执行开放式跨域视觉搜索的能力。与现有的封闭设置相比，我们的方法具有竞争力，我们可以在三个基准的基于搜索的任务的多个基准上获得最新的结果。对每个特定于域的映射功能进行单独训练，可以有效地扩展到任意数量的域，而不会影响搜索性能。我们从经验上说明了我们在三种不同情况下执行开放式跨域视觉搜索的能力。与现有的封闭设置相比，我们的方法具有竞争力，我们可以在三个基准的基于搜索的任务的多个基准上获得最新的结果。