The influence maximization (IM) problem aims at finding a subset of seed nodes in a social network that maximize the spread of influence. In this study, we focus on a sub-class of IM problems, where whether the nodes are willing to be the seeds when being invited is uncertain, called contingency-aware IM. Such contingency aware IM is critical for applications for non-profit organizations in low resource communities (e.g., spreading awareness of disease prevention). Despite the initial success, a major practical obstacle in promoting the solutions to more communities is the tremendous runtime of the greedy algorithms and the lack of high performance computing (HPC) for the non-profits in the field -- whenever there is a new social network, the non-profits usually do not have the HPCs to recalculate the solutions. Motivated by this and inspired by the line of works that use reinforcement learning (RL) to address combinatorial optimization on graphs, we formalize the problem as a Markov Decision Process (MDP), and use RL to learn an IM policy over historically seen networks, and generalize to unseen networks with negligible runtime at test phase. To fully exploit the properties of our targeted problem, we propose two technical innovations that improve the existing methods, including state-abstraction and theoretically grounded reward shaping. Empirical results show that our method achieves influence as high as the state-of-the-art methods for contingency-aware IM, while having negligible runtime at test phase.

中文翻译：

---

应急意识影响最大化：一种强化学习方法

影响力最大化 (IM) 问题旨在在社交网络中找到使影响力传播最大化的种子节点子集。在这项研究中，我们关注 IM 问题的一个子类，其中节点在被邀请时是否愿意成为种子是不确定的，称为 contingency-aware IM。这种应急意识 IM 对于资源匮乏社区的非营利组织的应用至关重要（例如，传播疾病预防意识）。尽管取得了初步成功，但将解决方案推广到更多社区的一个主要实际障碍是贪婪算法的巨大运行时间以及该领域非营利组织缺乏高性能计算 (HPC)——每当有新的社交媒体出现时网络，非营利组织通常没有 HPC 来重新计算解决方案。受此启发并受到使用强化学习 (RL) 解决图组合优化的一系列工作的启发，我们将问题形式化为马尔可夫决策过程 (MDP)，并使用 RL 在历史上看到的网络上学习 IM 策略，并推广到在测试阶段运行时间可以忽略不计的看不见的网络。为了充分利用我们目标问题的特性，我们提出了两项​​技术创新来改进现有方法，包括状态抽象和基于理论的奖励塑造。实证结果表明，我们的方法对突发事件感知 IM 的影响与最先进的方法一样高，而在测试阶段的运行时间可以忽略不计。我们将问题形式化为马尔可夫决策过程 (MDP)，并使用 RL 在历史上见过的网络上学习 IM 策略，并在测试阶段推广到运行时间可忽略不计的未见过网络。为了充分利用我们目标问题的特性，我们提出了两项​​技术创新来改进现有方法，包括状态抽象和基于理论的奖励塑造。实证结果表明，我们的方法对突发事件感知 IM 的影响与最先进的方法一样高，而在测试阶段的运行时间可以忽略不计。我们将问题形式化为马尔可夫决策过程 (MDP)，并使用 RL 在历史上见过的网络上学习 IM 策略，并在测试阶段推广到运行时间可忽略不计的未见过网络。为了充分利用我们目标问题的特性，我们提出了两项​​技术创新来改进现有方法，包括状态抽象和基于理论的奖励塑造。实证结果表明，我们的方法对突发事件感知 IM 的影响与最先进的方法一样高，而在测试阶段的运行时间可以忽略不计。包括状态抽象和理论基础的奖励塑造。实证结果表明，我们的方法对突发事件感知 IM 的影响与最先进的方法一样高，而在测试阶段的运行时间可以忽略不计。包括状态抽象和理论基础的奖励塑造。实证结果表明，我们的方法对突发事件感知 IM 的影响与最先进的方法一样高，而在测试阶段的运行时间可以忽略不计。