The goal of information retrieval is to recommend a list of document candidates that are most relevant to a given query. Listwise learning trains neural retrieval models by comparing various candidates simultaneously on a large scale, offering much more competitive performance than pairwise and pointwise schemes. Existing listwise ranking losses treat the candidate document list as a whole unit without further inspection. Some candidates with moderate semantic prominence may be ignored by the noisy similarity signals or overshadowed by a few especially pronounced candidates. As a result, existing ranking losses fail to exploit the full potential of neural retrieval models. To address these concerns, we apply the classic pooling technique to conduct multi-level coarse graining and propose ExpertRank, a novel expert-based listwise ranking loss. The proposed scheme has three major advantages: (1) ExpertRank introduces the profound physics concept of coarse graining to information retrieval by selecting prominent candidates at various local levels based on model prediction and inter-document comparison. (2) ExpertRank applies the mixture of experts (MoE) technique to combine different experts effectively by extending the traditional ListNet. (3) Compared to other existing listwise learning approaches, ExpertRank produces much more reliable and competitive performance for various neural retrieval models with different complexities, from traditional models, such as KNRM, ConvKNRM, MatchPyramid, to sophisticated BERT/ALBERT-based retrieval models.

中文翻译：

---

ExpertRank：基于多级粗粒度专家的 Listwise Ranking Loss

信息检索的目标是推荐与给定查询最相关的候选文档列表。Listwise learning 通过大规模同时比较各种候选来训练神经检索模型，提供比成对和逐点方案更具竞争力的性能。现有的 listwise 排名损失将候选文档列表视为一个整体，无需进一步检查。一些具有中等语义突出的候选者可能会被嘈杂的相似性信号忽略或被一些特别明显的候选者所掩盖。因此，现有的排名损失无法充分利用神经检索模型的潜力。为了解决这些问题，我们应用经典的池化技术进行多级粗粒度化，并提出 ExpertRank，这是一种新型的基于专家的 listwise 排名损失。所提出的方案具有三大优势：（1）ExpertRank 通过基于模型预测和文档间比较在各个局部级别选择突出的候选者，将粗粒度的深刻物理概念引入到信息检索中。(2) ExpertRank 应用专家混合 (MoE) 技术，通过扩展传统的 ListNet 将不同专家有效地结合起来。(3) 与其他现有的 listwise 学习方法相比，ExpertRank 为具有不同复杂性的各种神经检索模型提供了更可靠和更具竞争力的性能，从传统模型，如 KNRM、ConvKNRM、MatchPyramid，到复杂的基于 BERT/ALBERT 的检索模型。(1) ExpertRank 通过基于模型预测和文档间比较在各个局部级别选择突出的候选者，将粗粒度的深刻物理概念引入到信息检索中。(2) ExpertRank 应用专家混合 (MoE) 技术，通过扩展传统的 ListNet 将不同专家有效地结合起来。(3) 与其他现有的 listwise 学习方法相比，ExpertRank 为具有不同复杂性的各种神经检索模型提供了更可靠和更具竞争力的性能，从传统模型，如 KNRM、ConvKNRM、MatchPyramid，到复杂的基于 BERT/ALBERT 的检索模型。(1) ExpertRank 通过基于模型预测和文档间比较在各个局部级别选择突出的候选者，将粗粒度的深刻物理概念引入到信息检索中。(2) ExpertRank 应用专家混合 (MoE) 技术，通过扩展传统的 ListNet 将不同专家有效地结合起来。(3) 与其他现有的 listwise 学习方法相比，ExpertRank 为具有不同复杂性的各种神经检索模型提供了更可靠和更具竞争力的性能，从传统模型，如 KNRM、ConvKNRM、MatchPyramid，到复杂的基于 BERT/ALBERT 的检索模型。(2) ExpertRank 应用专家混合 (MoE) 技术，通过扩展传统的 ListNet，将不同专家有效地结合起来。(3) 与其他现有的 listwise 学习方法相比，ExpertRank 为具有不同复杂性的各种神经检索模型提供了更可靠和更具竞争力的性能，从传统模型，如 KNRM、ConvKNRM、MatchPyramid，到复杂的基于 BERT/ALBERT 的检索模型。(2) ExpertRank 应用专家混合 (MoE) 技术，通过扩展传统的 ListNet 将不同专家有效地结合起来。(3) 与其他现有的 listwise 学习方法相比，ExpertRank 为具有不同复杂性的各种神经检索模型提供了更可靠和更具竞争力的性能，从传统模型，如 KNRM、ConvKNRM、MatchPyramid，到复杂的基于 BERT/ALBERT 的检索模型。