Information-theoretic quantities like entropy and mutual information have found numerous uses in machine learning. It is well known that there is a strong connection between these entropic quantities and submodularity since entropy over a set of random variables is submodular. In this paper, we study combinatorial information measures that generalize independence, (conditional) entropy, (conditional) mutual information, and total correlation defined over sets of (not necessarily random) variables. These measures strictly generalize the corresponding entropic measures since they are all parameterized via submodular functions that themselves strictly generalize entropy. Critically, we show that, unlike entropic mutual information in general, the submodular mutual information is actually submodular in one argument, holding the other fixed, for a large class of submodular functions whose third-order partial derivatives satisfy a non-negativity property. This turns out to include a number of practically useful cases such as the facility location and set-cover functions. We study specific instantiations of the submodular information measures on these, as well as the probabilistic coverage, graph-cut, and saturated coverage functions, and see that they all have mathematically intuitive and practically useful expressions. Regarding applications, we connect the maximization of submodular (conditional) mutual information to problems such as mutual-information-based, query-based, and privacy-preserving summarization -- and we connect optimizing the multi-set submodular mutual information to clustering and robust partitioning.

中文翻译：

---

子模块组合信息度量在机器学习中的应用

熵和互信息等信息论量在机器学习中有很多用途。众所周知，这些熵量和子模性之间存在很强的联系，因为一组随机变量的熵是子模的。在本文中，我们研究了概括独立性、（条件）熵、（条件）互信息和定义在（不一定是随机）变量集上的总相关性的组合信息度量。这些度量严格概括了相应的熵度量，因为它们都是通过本身严格概括熵的子模函数参数化的。关键的是，我们表明，与一般的熵互信息不同，子模互信息实际上在一个参数中是子模的，保持另一个固定，对于一大类三阶偏导数满足非负性的子模函数。事实证明，这包括许多实际有用的案例，例如设施位置和布景功能。我们研究了这些子模块信息度量的具体实例，以及概率覆盖、图形切割和饱和覆盖函数，并看到它们都有数学上直观且实用的表达式。关于应用，我们将子模块（条件）互信息的最大化与基于互信息、基于查询和隐私保护的摘要等问题联系起来——我们将优化多集子模块互信息与聚类和鲁棒性联系起来分区。事实证明，这包括许多实际有用的案例，例如设施位置和布景功能。我们研究了这些子模块信息度量的具体实例，以及概率覆盖、图形切割和饱和覆盖函数，并看到它们都有数学上直观且实用的表达式。关于应用，我们将子模块（条件）互信息的最大化与基于互信息、基于查询和隐私保护的摘要等问题联系起来——我们将优化多集子模块互信息与聚类和鲁棒性联系起来分区。事实证明，这包括许多实际有用的案例，例如设施位置和布景功能。我们研究了这些子模块信息度量的具体实例，以及概率覆盖、图形切割和饱和覆盖函数，并看到它们都有数学上直观且实用的表达式。关于应用，我们将子模块（条件）互信息的最大化与基于互信息、基于查询和隐私保护的摘要等问题联系起来——我们将优化多集子模块互信息与聚类和鲁棒性联系起来分区。以及概率覆盖、图形切割和饱和覆盖函数，并看到它们都有数学上直观且实用的表达式。关于应用，我们将子模块（条件）互信息的最大化与基于互信息、基于查询和隐私保护的摘要等问题联系起来——我们将优化多集子模块互信息与聚类和鲁棒性联系起来分区。以及概率覆盖、图形切割和饱和覆盖函数，并看到它们都有数学上直观且实用的表达式。关于应用，我们将子模块（条件）互信息的最大化与基于互信息、基于查询和隐私保护的摘要等问题联系起来——我们将优化多集子模块互信息与聚类和鲁棒性联系起来分区。