Recommendations are increasingly used to support and enable discovery, browsing, and exploration of items. This is especially true for entertainment platforms such as Netflix or YouTube, where frequently, no clear categorization of items exists. Yet, the suitability of a recommendation algorithm to support these use cases cannot be comprehensively evaluated by any recommendation evaluation measures proposed so far. In this paper, we propose a method to expand the repertoire of existing recommendation evaluation techniques with a method to evaluate the discoverability and navigability of recommendation algorithms. The proposed method tackles this by means of first evaluating the discoverability of recommendation algorithms by investigating structural properties of the resulting recommender systems in terms of bow tie structure, and path lengths. Second, the method evaluates navigability by simulating three different models of information seeking scenarios and measuring the success rates. We show the feasibility of our method by applying it to four non-personalized recommendation algorithms on three data sets and also illustrate its applicability to personalized algorithms. Our work expands the arsenal of evaluation techniques for recommendation algorithms, extends from a one-click-based evaluation towards multi-click analysis, and presents a general, comprehensive method to evaluating navigability of arbitrary recommendation algorithms.

中文翻译：

---

一种评估推荐算法的可发现性和可导航性的方法。

建议越来越多地用于支持和启用对项目的发现，浏览和浏览。对于娱乐平台（例如Netflix或YouTube）尤其如此，因为娱乐平台经常不存在明确的项目分类。但是，到目前为止，提出的任何建议评估措施都无法全面评估支持这些用例的推荐算法的适用性。在本文中，我们提出了一种通过评估推荐算法的可发现性和可导航性的方法来扩展现有推荐评估技术的方法。所提出的方法通过首先评估领结结构和路径长度方面的结果推荐系统的结构特性，首先评估推荐算法的可发现性，从而解决了此问题。其次，该方法通过模拟三种不同的信息搜索方案模型并评估成功率来评估可导航性。通过将其应用于三个数据集的四个非个性化推荐算法，我们展示了该方法的可行性，并说明了该方法对个性化算法的适用性。我们的工作扩展了推荐算法评估技术的范围，从基于一次单击的评估扩展到了多次单击分析，并提出了一种通用的综合方法来评估任意推荐算法的可导航性。通过将其应用于三个数据集的四个非个性化推荐算法，我们展示了该方法的可行性，并说明了该方法对个性化算法的适用性。我们的工作扩展了推荐算法评估技术的范围，从基于一次单击的评估扩展到了多次单击分析，并提出了一种通用的综合方法来评估任意推荐算法的可导航性。通过将其应用于三个数据集上的四个非个性化推荐算法，我们展示了该方法的可行性，并说明了该方法对个性化算法的适用性。我们的工作扩展了推荐算法评估技术的范围，从基于一次单击的评估扩展到了多次单击分析，并提出了一种通用的综合方法来评估任意推荐算法的可导航性。