当前位置:
X-MOL 学术
›
arXiv.cs.DS
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
Submodular Combinatorial Information Measures with Applications in Machine Learning
arXiv - CS - Data Structures and Algorithms Pub Date : 2020-06-27 , DOI: arxiv-2006.15412 Rishabh Iyer and Ninad Khargonkar and Jeff Bilmes and Himanshu Asnani
arXiv - CS - Data Structures and Algorithms Pub Date : 2020-06-27 , DOI: arxiv-2006.15412 Rishabh Iyer and Ninad Khargonkar and Jeff Bilmes and Himanshu Asnani
Information-theoretic quantities like entropy and mutual information have
found numerous uses in machine learning. It is well known that there is a
strong connection between these entropic quantities and submodularity since
entropy over a set of random variables is submodular. In this paper, we study
combinatorial information measures that generalize independence, (conditional)
entropy, (conditional) mutual information, and total correlation defined over
sets of (not necessarily random) variables. These measures strictly generalize
the corresponding entropic measures since they are all parameterized via
submodular functions that themselves strictly generalize entropy. Critically,
we show that, unlike entropic mutual information in general, the submodular
mutual information is actually submodular in one argument, holding the other
fixed, for a large class of submodular functions whose third-order partial
derivatives satisfy a non-negativity property. This turns out to include a
number of practically useful cases such as the facility location and set-cover
functions. We study specific instantiations of the submodular information
measures on these, as well as the probabilistic coverage, graph-cut, and
saturated coverage functions, and see that they all have mathematically
intuitive and practically useful expressions. Regarding applications, we
connect the maximization of submodular (conditional) mutual information to
problems such as mutual-information-based, query-based, and privacy-preserving
summarization -- and we connect optimizing the multi-set submodular mutual
information to clustering and robust partitioning.
中文翻译:
子模块组合信息度量在机器学习中的应用
熵和互信息等信息论量在机器学习中有很多用途。众所周知,这些熵量和子模性之间存在很强的联系,因为一组随机变量的熵是子模的。在本文中,我们研究了概括独立性、(条件)熵、(条件)互信息和定义在(不一定是随机)变量集上的总相关性的组合信息度量。这些度量严格概括了相应的熵度量,因为它们都是通过本身严格概括熵的子模函数参数化的。关键的是,我们表明,与一般的熵互信息不同,子模互信息实际上在一个参数中是子模的,保持另一个固定,对于一大类三阶偏导数满足非负性的子模函数。事实证明,这包括许多实际有用的案例,例如设施位置和布景功能。我们研究了这些子模块信息度量的具体实例,以及概率覆盖、图形切割和饱和覆盖函数,并看到它们都有数学上直观且实用的表达式。关于应用,我们将子模块(条件)互信息的最大化与基于互信息、基于查询和隐私保护的摘要等问题联系起来——我们将优化多集子模块互信息与聚类和鲁棒性联系起来分区。事实证明,这包括许多实际有用的案例,例如设施位置和布景功能。我们研究了这些子模块信息度量的具体实例,以及概率覆盖、图形切割和饱和覆盖函数,并看到它们都有数学上直观且实用的表达式。关于应用,我们将子模块(条件)互信息的最大化与基于互信息、基于查询和隐私保护的摘要等问题联系起来——我们将优化多集子模块互信息与聚类和鲁棒性联系起来分区。事实证明,这包括许多实际有用的案例,例如设施位置和布景功能。我们研究了这些子模块信息度量的具体实例,以及概率覆盖、图形切割和饱和覆盖函数,并看到它们都有数学上直观且实用的表达式。关于应用,我们将子模块(条件)互信息的最大化与基于互信息、基于查询和隐私保护的摘要等问题联系起来——我们将优化多集子模块互信息与聚类和鲁棒性联系起来分区。以及概率覆盖、图形切割和饱和覆盖函数,并看到它们都有数学上直观且实用的表达式。关于应用,我们将子模块(条件)互信息的最大化与基于互信息、基于查询和隐私保护的摘要等问题联系起来——我们将优化多集子模块互信息与聚类和鲁棒性联系起来分区。以及概率覆盖、图形切割和饱和覆盖函数,并看到它们都有数学上直观且实用的表达式。关于应用,我们将子模块(条件)互信息的最大化与基于互信息、基于查询和隐私保护的摘要等问题联系起来——我们将优化多集子模块互信息与聚类和鲁棒性联系起来分区。
更新日期:2020-07-07
中文翻译:
子模块组合信息度量在机器学习中的应用
熵和互信息等信息论量在机器学习中有很多用途。众所周知,这些熵量和子模性之间存在很强的联系,因为一组随机变量的熵是子模的。在本文中,我们研究了概括独立性、(条件)熵、(条件)互信息和定义在(不一定是随机)变量集上的总相关性的组合信息度量。这些度量严格概括了相应的熵度量,因为它们都是通过本身严格概括熵的子模函数参数化的。关键的是,我们表明,与一般的熵互信息不同,子模互信息实际上在一个参数中是子模的,保持另一个固定,对于一大类三阶偏导数满足非负性的子模函数。事实证明,这包括许多实际有用的案例,例如设施位置和布景功能。我们研究了这些子模块信息度量的具体实例,以及概率覆盖、图形切割和饱和覆盖函数,并看到它们都有数学上直观且实用的表达式。关于应用,我们将子模块(条件)互信息的最大化与基于互信息、基于查询和隐私保护的摘要等问题联系起来——我们将优化多集子模块互信息与聚类和鲁棒性联系起来分区。事实证明,这包括许多实际有用的案例,例如设施位置和布景功能。我们研究了这些子模块信息度量的具体实例,以及概率覆盖、图形切割和饱和覆盖函数,并看到它们都有数学上直观且实用的表达式。关于应用,我们将子模块(条件)互信息的最大化与基于互信息、基于查询和隐私保护的摘要等问题联系起来——我们将优化多集子模块互信息与聚类和鲁棒性联系起来分区。事实证明,这包括许多实际有用的案例,例如设施位置和布景功能。我们研究了这些子模块信息度量的具体实例,以及概率覆盖、图形切割和饱和覆盖函数,并看到它们都有数学上直观且实用的表达式。关于应用,我们将子模块(条件)互信息的最大化与基于互信息、基于查询和隐私保护的摘要等问题联系起来——我们将优化多集子模块互信息与聚类和鲁棒性联系起来分区。以及概率覆盖、图形切割和饱和覆盖函数,并看到它们都有数学上直观且实用的表达式。关于应用,我们将子模块(条件)互信息的最大化与基于互信息、基于查询和隐私保护的摘要等问题联系起来——我们将优化多集子模块互信息与聚类和鲁棒性联系起来分区。以及概率覆盖、图形切割和饱和覆盖函数,并看到它们都有数学上直观且实用的表达式。关于应用,我们将子模块(条件)互信息的最大化与基于互信息、基于查询和隐私保护的摘要等问题联系起来——我们将优化多集子模块互信息与聚类和鲁棒性联系起来分区。