Societal biases resonate in the retrieved contents of information retrieval (IR) systems, resulting in reinforcing existing stereotypes. Approaching this issue requires established measures of fairness regarding the representation of various social groups in retrieved contents, as well as methods to mitigate such biases, particularly in the light of the advances in deep ranking models. In this work, we first provide a novel framework to measure the fairness in the retrieved text contents of ranking models. Introducing a ranker-agnostic measurement, the framework also enables the disentanglement of the effect on fairness of collection from that of rankers. Second, we propose an adversarial bias mitigation approach applied to the state-of-the-art Bert rankers, which jointly learns to predict relevance and remove protected attributes. We conduct experiments on two passage retrieval collections (MS MARCO Passage Re-ranking and TREC Deep Learning 2019 Passage Re-ranking), which we extend by fairness annotations of a selected subset of queries regarding gender attributes. Our results on the MS MARCO benchmark show that, while the fairness of all ranking models is lower than the ones of ranker-agnostic baselines, the fairness in retrieved contents significantly improves when applying the proposed adversarial training. Lastly, we investigate the trade-off between fairness and utility, showing that through applying a combinatorial model selection method, we can maintain the significant improvements in fairness without any significant loss in utility.

中文翻译：

---

检索内容中的社会偏见：BERT排名的度量框架和对抗性缓解

社会偏见在信息检索（IR）系统的检索内容中引起共鸣，从而增强了现有的刻板印象。要解决此问题，就已确定的关于在检索到的内容中各个社会群体的表示形式的公平性的措施，以及减轻这种偏见的方法，尤其是考虑到深度排名模型的进步。在这项工作中，我们首先提供一个新颖的框架来衡量排名模型检索文本内容中的公平性。引入与等级无关的度量，该框架还可以使对等级公平的影响与等级无关。其次，我们提出了一种适用于最新的Bert等级的对抗性偏差缓解方法，该方法可共同学习预测相关性并删除受保护的属性。我们对两个段落检索集合（MS MARCO段落重新排名和TREC深度学习2019段落重新排名）进行了实验，我们通过对性别属性的选定查询子集的公平注释进行扩展。我们在MS MARCO基准上的结果表明，尽管所有排名模型的公平性均低于与排名无关的基线，但在应用拟议的对抗性训练时，检索内容的公平性显着提高。最后，我们研究了公平与效用之间的权衡，表明通过应用组合模型选择方法，我们可以保持公平性的显着提高，而没有效用的任何重大损失。我们通过选择有关性别属性的查询子集的公平性注释来扩展它。我们在MS MARCO基准上的结果表明，尽管所有排名模型的公平性均低于与排名无关的基线，但在应用拟议的对抗性训练时，检索内容的公平性显着提高。最后，我们研究了公平与效用之间的权衡，表明通过应用组合模型选择方法，我们可以保持公平性的显着提高，而没有效用的任何重大损失。我们通过选择有关性别属性的查询子集的公平性注释来扩展它。我们在MS MARCO基准上的结果表明，尽管所有排名模型的公平性均低于与排名无关的基线，但在应用拟议的对抗性训练时，检索内容的公平性显着提高。最后，我们研究了公平与效用之间的权衡，表明通过应用组合模型选择方法，我们可以保持公平性的显着提高，而没有效用的任何重大损失。应用提议的对抗训练后，检索到的内容的公平性显着提高。最后，我们研究了公平与效用之间的权衡，表明通过应用组合模型选择方法，我们可以保持公平性的显着提高，而没有效用的任何重大损失。应用提议的对抗训练后，检索到的内容的公平性显着提高。最后，我们研究了公平与效用之间的权衡，表明通过应用组合模型选择方法，我们可以保持公平性的显着提高，而没有效用的任何重大损失。