During requirements elicitation, different stakeholders with diverse backgrounds and skills need to effectively communicate to reach a shared understanding of the problem at hand. Linguistic ambiguity due to terminological discrepancies may occur between stakeholders that belong to different technical domains. If not properly addressed, ambiguity can create frustration and distrust during requirements elicitation meetings, and lead to problems at later stages of development. This paper presents a natural language processing approach to identify ambiguous terms between different domains, and rank them by ambiguity score. The approach is based on building domain-specific language models, one for each stakeholders’ domain. Word embeddings from each language model are compared in order to measure the differences of use of a term, thus estimating its potential ambiguity across the domains of interest. We evaluate the approach on seven potential elicitation scenarios involving five domains. In the evaluation, we compare the ambiguity rankings automatically produced with the ones manually obtained by the authors as well as by multiple annotators recruited through Amazon Mechanical Turk. The rankings produced by the approach lead to a maximum Kendall’s Tau of 88%. However, for several elicitation scenarios, the application of the approach was unsuccessful in terms of performance. Analysis of the agreement among annotators and of the observed inaccuracies offer hints for further research on the relationship between domain knowledge and natural language ambiguity.

中文翻译：

---

一种用于需求工程中跨域歧义检测的 NLP 方法

在需求获取期间，具有不同背景和技能的不同利益相关者需要有效沟通，以达成对手头问题的共同理解。由于术语差异导致的语言歧义可能发生在属于不同技术领域的利益相关者之间。如果处理不当，歧义会在需求获取会议期间造成挫败感和不信任感，并导致开发后期出现问题。本文提出了一种自然语言处理方法来识别不同领域之间的歧义术语，并通过歧义分数对其进行排名。该方法基于构建特定于领域的语言模型，每个利益相关者的领域都有一个。比较来自每个语言模型的词嵌入，以测量术语使用的差异，从而估计其跨感兴趣领域的潜在歧义。我们评估了涉及五个领域的七个潜在启发场景的方法。在评估中，我们将自动生成的模糊度排名与作者手动获得的模糊度排名以及通过 Amazon Mechanical Turk 招募的多个注释者进行比较。该方法产生的排名导致 Kendall's Tau 的最大值为 88%。然而，对于几个引出场景，该方法的应用在性能方面并不成功。对注释者之间的一致性和观察到的不准确性的分析为进一步研究领域知识和自然语言歧义之间的关系提供了线索。我们评估了涉及五个领域的七个潜在启发场景的方法。在评估中，我们将自动生成的模糊度排名与作者手动获得的模糊度排名以及通过 Amazon Mechanical Turk 招募的多个注释者进行比较。该方法产生的排名导致 Kendall's Tau 的最大值为 88%。然而，对于几个引出场景，该方法的应用在性能方面并不成功。对注释者之间的一致性和观察到的不准确性的分析为进一步研究领域知识和自然语言歧义之间的关系提供了线索。我们评估了涉及五个领域的七个潜在启发场景的方法。在评估中，我们将自动生成的模糊度排名与作者手动获得的模糊度排名以及通过 Amazon Mechanical Turk 招募的多个注释者进行比较。该方法产生的排名导致 Kendall's Tau 的最大值为 88%。然而，对于几个引出场景，该方法的应用在性能方面并不成功。对注释者之间的一致性和观察到的不准确性的分析为进一步研究领域知识和自然语言歧义之间的关系提供了线索。我们将自动生成的模糊度排名与作者以及通过 Amazon Mechanical Turk 招募的多个注释者手动获得的排名进行比较。该方法产生的排名导致 Kendall's Tau 的最大值为 88%。然而，对于几个引出场景，该方法的应用在性能方面并不成功。对注释者之间的一致性和观察到的不准确性的分析为进一步研究领域知识和自然语言歧义之间的关系提供了线索。我们将自动生成的模糊度排名与作者以及通过 Amazon Mechanical Turk 招募的多个注释者手动获得的排名进行比较。该方法产生的排名导致 Kendall's Tau 的最大值为 88%。然而，对于几个引出场景，该方法的应用在性能方面并不成功。对注释者之间的一致性和观察到的不准确性的分析为进一步研究领域知识和自然语言歧义之间的关系提供了线索。