Crowd-based multimedia documents such as screencasts have emerged as a source for documenting requirements, the workflow and implementation issues of open source and agile software projects. For example, users can show and narrate how they manipulate an application’s GUI to perform a certain functionality, or a bug reporter could visually explain how to trigger a bug or a security vulnerability. Unfortunately, the streaming nature of programming screencasts and their binary format limit how developers can interact with a screencast’s content. In this research, we present an automated approach for mining and linking the multimedia content found in screencasts to their relevant software artifacts and, more specifically, to source code. We apply LDA-based mining approaches that take as input a set of screencast artifacts, such as GUI text and spoken word, to make the screencast content accessible and searchable to users and to link it to their relevant source code artifacts. To evaluate the applicability of our approach, we report on results from case studies that we conducted on existing WordPress and Mozilla Firefox screencasts. We found that our automated approach can significantly speed up the feature location process. For WordPress, we find that our approach using screencast speech and GUI text can successfully link relevant source code files within the top 10 hits of the result set with median Reciprocal Rank (RR) of 50% (rank 2) and 100% (rank 1). In the case of Firefox, our approach can identify relevant source code directories within the top 100 hits using screencast speech and GUI text with the median RR = 20%, meaning that the first true positive is ranked 5 or higher in more than 50% of the cases. Also, source code related to the frontend implementation that handles high-level or GUI-related aspects of an application is located with higher accuracy. We also found that term frequency rebalancing can further improve the linking results when using less noisy scenarios or locating less technical implementation of scenarios. Investigating the results of using original and weighted screencast data sources (speech, GUI, speech and GUI) that can result in having the highest median RR values in both case studies shows that speech data is an important information source that can result in having RR of 100%.

中文翻译：

---

一种用于将从基于人群的截屏视频中提取的应用程序特征映射到源代码的特征定位方法

基于人群的多媒体文档（如截屏视频）已成为记录开源和敏捷软件项目的需求、工作流程和实施问题的来源。例如，用户可以展示和叙述他们如何操纵应用程序的 GUI 来执行特定功能，或者错误报告者可以直观地解释如何触发错误或安全漏洞。不幸的是，编程截屏视频的流式特性及其二进制格式限制了开发人员与截屏视频内容交互的方式。在这项研究中，我们提出了一种自动化方法，用于挖掘和链接截屏视频中发现的多媒体内容与其相关的软件工件，更具体地说，链接到源代码。我们应用基于 LDA 的挖掘方法，将一组截屏工件作为输入，例如 GUI 文本和口语，使用户可以访问和搜索截屏内容，并将其链接到相关的源代码工件。为了评估我们的方法的适用性，我们报告了我们对现有 WordPress 和 Mozilla Firefox 截屏视频进行的案例研究的结果。我们发现我们的自动化方法可以显着加快特征定位过程。对于 WordPress，我们发现我们使用截屏语音和 GUI 文本的方法可以成功地链接结果集中前 10 个点击中的相关源代码文件，其中互惠排名 (RR) 的中位数分别为 50%（排名 2）和 100%（排名 1） ）。在 Firefox 的情况下，我们的方法可以使用截屏语音和 GUI 文本识别前 100 个点击中的相关源代码目录，中值 RR = 20%，这意味着第一个真阳性在超过 50% 的案例中排名第 5 或更高。此外，与处理应用程序的高级或 GUI 相关方面的前端实现相关的源代码的定位精度更高。我们还发现，当使用噪声较小的场景或定位场景的技术实现较少时，词频重新平衡可以进一步改善链接结果。调查使用原始和加权截屏数据源（语音、GUI、语音和 GUI）的结果，这些数据源可能导致两个案例研究中的 RR 中值最高，表明语音数据是一个重要的信息源，可能导致 RR 为100%。与处理应用程序的高级或 GUI 相关方面的前端实现相关的源代码以更高的精度定位。我们还发现，当使用噪声较小的场景或定位场景的技术实现较少时，词频重新平衡可以进一步改善链接结果。调查使用原始和加权截屏数据源（语音、GUI、语音和 GUI）的结果，这些数据源可能导致两个案例研究中的 RR 中值最高，表明语音数据是一个重要的信息源，可能导致 RR 为100%。与处理应用程序的高级或 GUI 相关方面的前端实现相关的源代码以更高的精度定位。我们还发现，当使用噪声较小的场景或定位场景的技术实现较少时，词频重新平衡可以进一步改善链接结果。调查使用原始和加权截屏数据源（语音、GUI、语音和 GUI）的结果，这些数据源可能导致两个案例研究中的 RR 中值最高，表明语音数据是一个重要的信息源，可能导致 RR 为100%。