Measuring semantic similarity between short texts is an important task in many applications of natural language processing, such as paraphrasing identification. This process requires a benchmark of sentence pairs that are labeled by Arab linguists and considered a standard that can be used by researchers when evaluating their results. This research describes an Arabic paraphrasing benchmark to be a good standard for evaluation algorithms that are developed to measure semantic similarity for Arabic sentences to detect paraphrasing in the same language. The transformed sentences are in accordance with a set of rules for Arabic paraphrasing. These sentences are constructed from the words in the Arabic word semantic similarity dataset and from different Arabic books, educational texts, and lexicons. The proposed benchmark consists of 1,010 sentence pairs wherein each pair is tagged with scores determining semantic similarity and paraphrasing. The quality of the data is assessed using statistical analysis for the distribution of the sentences over the Arabic transformation rules and exploration through hierarchical clustering (HCL). Our exploration using HCL shows that the sentences in the proposed benchmark are grouped into 27 clusters representing different subjects. The inter-annotator agreement measures show a moderate agreement for the annotations of the graduate students and a poor reliability for the annotations of the undergraduate students.

中文翻译：

---

基于转换规则构建阿拉伯语释义基准

测量短文本之间的语义相似度是自然语言处理的许多应用中的一项重要任务，例如释义识别。这个过程需要一个由阿拉伯语言学家标记的句子对基准，并被认为是研究人员在评估其结果时可以使用的标准。这项研究将阿拉伯语释义基准描述为评估算法的良好标准，该算法旨在测量阿拉伯语句子的语义相似度，以检测相同语言的释义。转换后的句子符合一套阿拉伯语释义规则。这些句子是根据阿拉伯语单词语义相似度数据集中的单词以及不同的阿拉伯语书籍、教育文本和词典构建的。建议的基准包括 1、010 个句子对，其中每对都标有确定语义相似性和释义的分数。数据的质量使用统计分析来评估阿拉伯语转换规则上的句子分布和通过层次聚类 (HCL) 进行的探索。我们使用 HCL 的探索表明，提议的基准中的句子被分为代表不同主题的 27 个集群。注释者间一致性测量显示，研究生注释的一致性适中，而本科生注释的可靠性较差。数据的质量使用统计分析来评估阿拉伯语转换规则上的句子分布和通过层次聚类 (HCL) 进行的探索。我们使用 HCL 的探索表明，提议的基准中的句子被分为代表不同主题的 27 个集群。注释者间一致性测量显示，研究生注释的一致性适中，而本科生注释的可靠性较差。数据的质量使用统计分析来评估阿拉伯语转换规则上的句子分布和通过层次聚类 (HCL) 进行的探索。我们使用 HCL 的探索表明，提议的基准中的句子被分为代表不同主题的 27 个集群。注释者间一致性测量显示，研究生注释的一致性适中，而本科生注释的可靠性较差。