Significant sampling is an adaptive monitoring technique proposed for highly dynamic networks with centralized network management and control systems. The essential spirit of significant sampling is to collect and disseminate network state information when it is of significant value to the optimal operation of the network, and in particular when it helps identify the shortest routes. Discovering the optimal sampling policy that specifies the optimal sampling frequency is referred to as the significant sampling problem. Modeling the problem as a Markov Decision process, this paper puts forth a deep reinforcement learning (DRL) approach to tackle the significant sampling problem. This approach is more flexible and general than prior approaches as it can accommodate a diverse set of network environments. Experimental results show that, 1) by following the objectives set in the prior work, our DRL approach can achieve performance comparable to their analytically derived policy $\phi '$ – unlike the prior approach, our approach is model-free and unaware of the underlying traffic model; 2) by appropriately modifying the objective functions, we obtain a new policy which addresses the never-sample problem of policy $\phi '$ , consequently reducing the overall cost; 3) our DRL approach works well under different stochastic variations of the network environment – it can provide good solutions under complex network environments where analytically tractable solutions are not feasible.

中文翻译：

---

最短路径路由的重要采样：深度强化学习解决方案

显着采样是为具有集中式网络管理和控制系统的高度动态网络提出的自适应监控技术。显着抽样的本质是在网络状态信息对网络的优化运行具有重要价值时，特别是当它有助于识别最短路径时，收集和传播网络状态信息。发现指定最优采样频率的最优采样策略被称为显着采样问题。将问题建模为马尔可夫决策过程，本文提出了一种深度强化学习 (DRL) 方法来解决重要的采样问题。这种方法比以前的方法更灵活和通用，因为它可以适应不同的网络环境。实验结果表明，1）通过遵循先前工作中设定的目标，我们的 DRL 方法可以实现与其分析得出的策略 $\phi '$ 相当的性能——与先前的方法不同，我们的方法是无模型的，并且不知道底层流量模型；2）通过适当修改目标函数，我们获得了一个新的策略，解决了策略$\phi'$的无样本问题，从而降低了整体成本；3）我们的 DRL 方法在网络环境的不同随机变化下运行良好——它可以在复杂的网络环境下提供良好的解决方案，在这些环境中，可分析的解决方案是不可行的。我们的方法是无模型的，并且不知道底层的流量模型；2）通过适当修改目标函数，我们获得了一个新的策略，解决了策略$\phi'$的无样本问题，从而降低了整体成本；3）我们的 DRL 方法在网络环境的不同随机变化下运行良好——它可以在复杂的网络环境下提供良好的解决方案，在这些环境中，可分析解决方案不可行。我们的方法是无模型的，并且不知道底层的流量模型；2）通过适当修改目标函数，我们获得了一个新的策略，解决了策略$\phi'$的无样本问题，从而降低了整体成本；3）我们的 DRL 方法在网络环境的不同随机变化下运行良好——它可以在复杂的网络环境下提供良好的解决方案，在这些环境中，可分析的解决方案是不可行的。