当前位置: X-MOL 学术Requirements Eng. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
On user rationale in software engineering
Requirements Engineering ( IF 2.8 ) Pub Date : 2018-04-06 , DOI: 10.1007/s00766-018-0293-2
Zijad Kurtanović , Walid Maalej

Rationale refers to the reasoning and justification behind human decisions, opinions, and beliefs. In software engineering, rationale management focuses on capturing design and requirements decisions and on organizing and reusing project knowledge. This paper takes a different view on rationale written by users in online reviews. We studied 32,414 reviews for 52 software applications in the Amazon Store. Through a grounded theory approach and peer content analysis, we investigated how users argue and justify their decisions, e.g., about upgrading, installing, or switching software applications. We also studied the occurrence frequency of rationale concepts such as issues encountered or alternatives considered in the reviews and found that assessment criteria like performance, compatibility, and usability represent the most pervasive concept. We identified a moderate positive correlation between issues and criteria and furthermore assessed the distribution of rationale concepts with respect to rating and verbosity. We found that issues tend to appear more in lower star rated reviews, while criteria, alternatives, and justifications seem to appear more in three star rated reviews. Also, reviews reporting alternatives seem to be more verbose than reviews reporting criteria. A follow-up qualitative study of sub-concepts revealed, that users also report other alternatives (e.g., alternative software provider), criteria (e.g., cost), and decisions (e.g., on rating software). We then used the truth set of manually labeled review sentences to explore how accurately we can mine rationale concepts from the reviews. We evaluated the classification algorithms Naive Bayes, Support Vector Machine, Logistic Regression, Decision Tree, Gaussian Process, Random Forest, and Multilayer Perceptron Classifier using a baseline and random configuration. Support Vector Classifier, Naive Bayes, and Logistic Regression, trained on the review metadata, syntax tree of the review text, and influential terms, achieved a precision around 80% for predicting sentences with alternatives and decisions, with top recall values of 98%. On the review level, precision was up to 13% higher with recall values reaching 99%. Using only word features, we achieved in most cases the highest precision and highest recall respectively using the Random Forest and Naive Bayes algorithm. We discuss the findings and the rationale importance for supporting deliberation in user communities and synthesizing the reviews for developers.

中文翻译:

论软件工程中的用户原理

基本原理是指人类决定、意见和信念背后的推理和理由。在软件工程中,基本原理管理侧重于捕获设计和需求决策以及组织和重用项目知识。本文对用户在在线评论中所写的理由采取了不同的看法。我们研究了亚马逊商店中 52 个软件应用程序的 32,414 条评论。通过扎根理论方法和同行内容分析,我们调查了用户如何争论和证明他们的决定是正确的,例如,关于升级、安装或切换软件应用程序。我们还研究了基本原理概念的出现频率,例如在审查中遇到的问题或考虑的替代方案,发现性能、兼容性和可用性等评估标准代表了最普遍的概念。我们确定了问题和标准之间的适度正相关,并进一步评估了关于评级和冗长的基本原理概念的分布。我们发现问题往往更多地出现在较低星级的评论中,而标准、替代方案和理由似乎更多地出现在三星级的评论中。此外,评论报告替代方案似乎比评论报告标准更冗长。对子概念的后续定性研究表明,用户还报告其他替代方案(例如,替代软件提供商)、标准(例如,成本)和决策(例如,关于评级软件)。然后,我们使用手动标记的评论句子的真值集来探索我们从评论中挖掘基本原理概念的准确程度。我们评估了分类算法朴素贝叶斯、支持向量机、使用基线和随机配置的逻辑回归、决策树、高斯过程、随机森林和多层感知器分类器。支持向量分类器、朴素贝叶斯和逻辑回归,在评论元数据、评论文本的语法树和有影响的术语上进行训练,在预测带有备选方案和决策的句子方面达到了约 80% 的精度,最高召回值为 98%。在审查层面,准确率提高了 13%,召回值达到了 99%。仅使用单词特征,我们在大多数情况下分别使用随机森林和朴素贝叶斯算法实现了最高精度和最高召回率。我们讨论了调查结果和支持用户社区审议和为开发人员综合评论的基本原理重要性。使用基线和随机配置的高斯过程、随机森林和多层感知器分类器。支持向量分类器、朴素贝叶斯和逻辑回归,在评论元数据、评论文本的语法树和有影响的术语上进行训练,在预测带有备选方案和决策的句子方面达到了约 80% 的精度,最高召回值为 98%。在审查层面,准确率提高了 13%,召回值达到了 99%。仅使用单词特征,我们在大多数情况下分别使用随机森林和朴素贝叶斯算法实现了最高精度和最高召回率。我们讨论了调查结果和支持用户社区审议和为开发人员综合评论的基本原理重要性。使用基线和随机配置的高斯过程、随机森林和多层感知器分类器。支持向量分类器、朴素贝叶斯和逻辑回归,在评论元数据、评论文本的语法树和有影响的术语上进行训练,在预测带有备选方案和决策的句子方面达到了约 80% 的精度,最高召回值为 98%。在审查层面,准确率提高了 13%,召回值达到了 99%。仅使用单词特征,我们在大多数情况下分别使用随机森林和朴素贝叶斯算法实现了最高精度和最高召回率。我们讨论了调查结果和支持用户社区审议和为开发人员综合评论的基本原理重要性。和使用基线和随机配置的多层感知器分类器。支持向量分类器、朴素贝叶斯和逻辑回归,在评论元数据、评论文本的语法树和有影响的术语上进行训练,在预测带有备选方案和决策的句子方面达到了约 80% 的精度,最高召回值为 98%。在审查层面,准确率提高了 13%,召回值达到了 99%。仅使用单词特征,我们在大多数情况下分别使用随机森林和朴素贝叶斯算法实现了最高精度和最高召回率。我们讨论了调查结果和支持用户社区审议和为开发人员综合评论的基本原理重要性。和使用基线和随机配置的多层感知器分类器。支持向量分类器、朴素贝叶斯和逻辑回归,在评论元数据、评论文本的语法树和有影响的术语上进行训练,在预测带有备选方案和决策的句子方面达到了约 80% 的精度,最高召回值为 98%。在审查层面,准确率提高了 13%,召回值达到了 99%。仅使用单词特征,我们在大多数情况下分别使用随机森林和朴素贝叶斯算法实现了最高精度和最高召回率。我们讨论了调查结果和支持用户社区审议和为开发人员综合评论的基本原理重要性。评论文本的语法树和有影响的术语在预测具有替代和决定的句子时达到了大约 80% 的精度,最高召回值为 98%。在审查层面,准确率提高了 13%,召回值达到了 99%。仅使用单词特征,我们在大多数情况下分别使用随机森林和朴素贝叶斯算法实现了最高精度和最高召回率。我们讨论了调查结果和支持用户社区审议和为开发人员综合评论的基本原理重要性。评论文本的语法树和有影响的术语在预测具有替代和决定的句子时达到了大约 80% 的精度,最高召回值为 98%。在审查层面,准确率提高了 13%,召回值达到了 99%。仅使用单词特征,我们在大多数情况下分别使用随机森林和朴素贝叶斯算法实现了最高精度和最高召回率。我们讨论了调查结果和支持用户社区审议和为开发人员综合评论的基本原理重要性。我们在大多数情况下分别使用随机森林和朴素贝叶斯算法实现了最高精度和最高召回率。我们讨论了调查结果和支持用户社区审议和为开发人员综合评论的基本原理重要性。我们在大多数情况下分别使用随机森林和朴素贝叶斯算法实现了最高精度和最高召回率。我们讨论了调查结果和支持用户社区审议和为开发人员综合评论的基本原理重要性。
更新日期:2018-04-06
down
wechat
bug