The emerging paradigm - Software-Defined Networking (SDN) and Network Function Virtualization (NFV) - makes it feasible and scalable to run Virtual Network Functions (VNFs) in commercial-off-the-shelf devices, which provides a variety of network services with reduced cost. Benefitting from centralized network management, lots of information about network devices, traffic and resources can be collected in SDN/NFV-enabled networks. Using powerful machine learning tools, algorithms can be designed in a customized way according to the collected information to efficiently optimize network performance. In this paper, we study the VNF placement problem in SDN/NFV-enabled networks, which is naturally formulated as a Binary Integer Programming (BIP) problem. Using deep reinforcement learning, we propose a Double Deep Q Network-based VNF Placement Algorithm (DDQN-VNFPA). Specifically, DDQN determines the optimal solution from a prohibitively large solution space and DDQN-VNFPA then places/releases VNF Instances (VNFIs) following a threshold-based policy. We evaluate DDQN-VNFPA with trace-driven simulations on a real-world network topology. Evaluation results show that DDQN-VNFPA can get improved network performance in terms of the reject number and reject ratio of Service Function Chain Requests (SFCRs), throughput, end-to-end delay, VNFI running time and load balancing compared with the algorithms in existing literatures.

中文翻译：

---

在支持 SDN/NFV 的网络中通过深度强化学习实现最佳 VNF 放置

新兴的范式——软件定义网络 (SDN) 和网络功能虚拟化 (NFV)——使得在商用现成设备中运行虚拟网络功能 (VNF) 变得可行和可扩展，它提供各种网络服务降低成本。受益于集中式网络管理，可以在支持 SDN/NFV 的网络中收集有关网络设备、流量和资源的大量信息。使用强大的机器学习工具，可以根据收集到的信息以定制的方式设计算法，以有效优化网络性能。在本文中，我们研究了启用 SDN/NFV 的网络中的 VNF 放置问题，该问题自然被表述为二进制整数规划 (BIP) 问题。使用深度强化学习，我们提出了一种基于双深度 Q 网络的 VNF 放置算法（DDQN-VNFPA）。具体来说，DDQN 从一个非常大的解决方案空间中确定最佳解决方案，然后 DDQN-VNFPA 按照基于阈值的策略放置/释放 VNF 实例 (VNFIs)。我们通过对真实网络拓扑的跟踪驱动模拟来评估 DDQN-VNFPA。评估结果表明，与上述算法相比，DDQN-VNFPA 在拒绝服务功能链请求 (SFCR) 的拒绝数量和拒绝率、吞吐量、端到端延迟、VNFI 运行时间和负载均衡方面可以提高网络性能。现有文献。我们通过对真实网络拓扑的跟踪驱动模拟来评估 DDQN-VNFPA。评估结果表明，与上述算法相比，DDQN-VNFPA 在拒绝服务功能链请求 (SFCR) 的拒绝数量和拒绝率、吞吐量、端到端延迟、VNFI 运行时间和负载均衡方面可以提高网络性能。现有文献。我们通过对真实网络拓扑的跟踪驱动模拟来评估 DDQN-VNFPA。评估结果表明，与上述算法相比，DDQN-VNFPA 在拒绝服务功能链请求 (SFCR) 的拒绝数量和拒绝率、吞吐量、端到端延迟、VNFI 运行时间和负载均衡方面可以提高网络性能。现有文献。