Search on speech (SoS) is a challenging area due to the huge amount of information stored in audio and video repositories. Spoken term detection (STD) is an SoS-related task aiming to retrieve data from a speech repository given a textual representation of a search term (which can include one or more words). This paper presents a multi-domain internationally open evaluation for STD in Spanish. The evaluation has been designed carefully so that several analyses of the main results can be carried out. The evaluation task aims at retrieving the speech files that contain the terms, providing their start and end times, and a score that reflects the confidence given to the detection. Three different Spanish speech databases that encompass different domains have been employed in the evaluation: the MAVIR database, which comprises a set of talks from workshops; the RTVE database, which includes broadcast news programs; and the COREMAH database, which contains 2-people spontaneous speech conversations about different topics. We present the evaluation itself, the three databases, the evaluation metric, the systems submitted to the evaluation, the results, and detailed post-evaluation analyses based on some term properties (within-vocabulary/out-of-vocabulary terms, single-word/multi-word terms, and native/foreign terms). Fusion results of the primary systems submitted to the evaluation are also presented. Three different research groups took part in the evaluation, and 11 different systems were submitted. The obtained results suggest that the STD task is still in progress and performance is highly sensitive to changes in the data domain.

中文翻译：

---

ALBAYZIN 2018 口语词检测评测：西班牙语多领域国际评测

由于存储在音频和视频存储库中的大量信息，语音搜索 (SoS) 是一个具有挑战性的领域。口语词检测 (STD) 是一项与 SoS 相关的任务，旨在根据搜索词的文本表示（可以包括一个或多个词）从语音存储库中检索数据。本文介绍了西班牙语 STD 的多领域国际开放评估。评估经过精心设计，因此可以对主要结果进行多项分析。评估任务旨在检索包含术语的语音文件，提供它们的开始和结束时间，以及反映检测置信度的分数。评估中使用了三个不同的西班牙语语音数据库，涵盖不同的领域：MAVIR 数据库、其中包括一系列研讨会的演讲；RTVE 数据库，其中包括广播新闻节目；和 COREMAH 数据库，其中包含 2 人关于不同主题的自发语音对话。我们展示了评估本身、三个数据库、评估指标、提交评估的系统、结果以及基于某些术语属性的详细评估后分析（词汇内/词汇外术语、单个词/ 多词术语和本地/外国术语）。还介绍了提交评估的主要系统的融合结果。三个不同的研究小组参与了评估，并提交了 11 个不同的系统。获得的结果表明 STD 任务仍在进行中，性能对数据域的变化高度敏感。RTVE 数据库，其中包括广播新闻节目；和 COREMAH 数据库，其中包含 2 人关于不同主题的自发语音对话。我们展示了评估本身、三个数据库、评估指标、提交评估的系统、结果以及基于某些术语属性的详细评估后分析（词汇内/词汇外术语、单个词/ 多词术语和本地/外国术语）。还介绍了提交评估的主要系统的融合结果。三个不同的研究小组参与了评估，并提交了 11 个不同的系统。获得的结果表明 STD 任务仍在进行中，性能对数据域的变化高度敏感。RTVE 数据库，其中包括广播新闻节目；以及 COREMAH 数据库，其中包含 2 人关于不同主题的自发语音对话。我们展示了评估本身、三个数据库、评估指标、提交评估的系统、结果以及基于某些术语属性的详细评估后分析（词汇内/词汇外术语、单个词/ 多词术语和本地/外国术语）。还介绍了提交评估的主要系统的融合结果。三个不同的研究小组参与了评估，并提交了 11 个不同的系统。获得的结果表明 STD 任务仍在进行中，性能对数据域的变化高度敏感。其中包含关于不同主题的 2 人自发语音对话。我们展示了评估本身、三个数据库、评估指标、提交评估的系统、结果以及基于某些术语属性的详细评估后分析（词汇内/词汇外术语、单个词/ 多词术语和本地/外国术语）。还介绍了提交评估的主要系统的融合结果。三个不同的研究小组参与了评估，并提交了 11 个不同的系统。获得的结果表明 STD 任务仍在进行中，性能对数据域的变化高度敏感。其中包含关于不同主题的 2 人自发语音对话。我们展示了评估本身、三个数据库、评估指标、提交评估的系统、结果以及基于某些术语属性的详细评估后分析（词汇内/词汇外术语、单个词/ 多词术语和本地/外国术语）。还介绍了提交评估的主要系统的融合结果。三个不同的研究小组参与了评估，并提交了 11 个不同的系统。获得的结果表明 STD 任务仍在进行中，性能对数据域的变化高度敏感。评估指标、提交评估的系统、结果以及基于某些术语属性（词汇内/词汇外术语、单词/多词术语和本地/外语）的详细评估后分析条款）。还介绍了提交评估的主要系统的融合结果。三个不同的研究小组参与了评估，并提交了 11 个不同的系统。获得的结果表明 STD 任务仍在进行中，性能对数据域的变化高度敏感。评估指标、提交评估的系统、结果以及基于某些术语属性（词汇内/词汇外术语、单词/多词术语和本地/外语）的详细评估后分析条款）。还介绍了提交评估的主要系统的融合结果。三个不同的研究小组参与了评估，并提交了 11 个不同的系统。获得的结果表明 STD 任务仍在进行中，性能对数据域的变化高度敏感。还介绍了提交评估的主要系统的融合结果。三个不同的研究小组参与了评估，并提交了 11 个不同的系统。获得的结果表明 STD 任务仍在进行中，性能对数据域的变化高度敏感。还介绍了提交评估的主要系统的融合结果。三个不同的研究小组参与了评估，并提交了 11 个不同的系统。获得的结果表明 STD 任务仍在进行中，性能对数据域的变化高度敏感。