Audio captioning is a multi-modal task, focusing on using natural language for describing the contents of general audio. Most audio captioning methods are based on deep neural networks, employing an encoder-decoder scheme and a dataset with audio clips and corresponding natural language descriptions (i.e. captions). A significant challenge for audio captioning is the distribution of words in the captions: some words are very frequent but acoustically non-informative, i.e. the function words (e.g. "a", "the"), and other words are infrequent but informative, i.e. the content words (e.g. adjectives, nouns). In this paper we propose two methods to mitigate this class imbalance problem. First, in an autoencoder setting for audio captioning, we weigh each word's contribution to the training loss inversely proportional to its number of occurrences in the whole dataset. Secondly, in addition to multi-class, word-level audio captioning task, we define a multi-label side task based on clip-level content word detection by training a separate decoder. We use the loss from the second task to regularize the jointly trained encoder for the audio captioning task. We evaluate our method using Clotho, a recently published, wide-scale audio captioning dataset, and our results show an increase of 37\% relative improvement with SPIDEr metric over the baseline method.

中文翻译：

---

基于音频字幕不常见类的多任务正则化

音频字幕是一项多模态任务，侧重于使用自然语言来描述一般音频的内容。大多数音频字幕方法基于深度神经网络，采用编码器-解码器方案和带有音频剪辑和相应自然语言描述（即字幕）的数据集。音频字幕的一个重大挑战是字幕中单词的分布：一些单词非常频繁但在听觉上没有信息，即功能词（例如“a”，“the”），而其他单词不常见但提供信息，即内容词（例如形容词、名词）。在本文中，我们提出了两种方法来缓解此类不平衡问题。首先，在音频字幕的自动编码器设置中，我们权衡每个单词' s 对训练损失的贡献与其在整个数据集中的出现次数成反比。其次，除了多类、词级音频字幕任务之外，我们还通过训练单独的解码器定义了基于剪辑级内容词检测的多标签边任务。我们使用第二个任务的损失来正则化联合训练的用于音频字幕任务的编码器。我们使用最近发布的大规模音频字幕数据集 Clotho 评估我们的方法，我们的结果显示，与基线方法相比，使用 SPIDER 指标相对提高了 37%。我们使用第二个任务的损失来正则化联合训练的用于音频字幕任务的编码器。我们使用最近发布的大规模音频字幕数据集 Clotho 评估我们的方法，我们的结果显示，与基线方法相比，使用 SPIDER 指标相对提高了 37%。我们使用第二个任务的损失来正则化联合训练的用于音频字幕任务的编码器。我们使用最近发布的大规模音频字幕数据集 Clotho 评估我们的方法，我们的结果显示，与基线方法相比，使用 SPIDER 指标相对提高了 37%。