Cloud manufacturing is a new manufacturing model that aims to provide on-demand manufacturing services to consumers over the Internet. Service composition is an essential issue as well as an important technique in cloud manufacturing (CMfg) that supports construction of larger-granularity, value-added services by combining a number of smaller-granularity services to satisfy consumers’ complex requirements. Meta-heuristics algorithms such as genetic algorithm, particle swarm optimization, and ant colony algorithm are frequently employed for addressing service composition issues in cloud manufacturing. These algorithms, however, require complex design flows and painstaking parameter tuning, and lack adaptability to dynamic environment. Deep reinforcement learning (DRL) provides an alternative approach for solving cloud manufacturing service composition (CMfg-SC) issues. DRL as model-free artificial intelligent methods enables a system to learn optimal service composition solutions through training, which can therefore circumvent the aforementioned problems with meta-heuristics algorithms. This paper is dedicated to exploring possible applications of DRL in CMfg-SC. A logistics-involved QoS-aware DRL-based CMfg-SC is proposed. A dueling Deep Q-Network (DQN) with prioritized replay named PD-DQN is designed as the DRL algorithm. Effectiveness, robustness, adaptability, and scalability of PD-DQN are investigated, and compared with that of the basic DQN and Q-learning. Experimental results indicate that PD-DQN is able to effectively address the CMfg-SC problem.

云制造是一种新的制造模式，旨在通过Internet向消费者提供按需制造服务。服务组合是云制造（CMfg）中的一个基本问题，也是一项重要技术，它通过组合许多较小粒度的服务来满足消费者的复杂需求，从而支持构建较大粒度的增值服务。诸如遗传算法，粒子群优化和蚁群算法之类的元启发式算法通常用于解决云制造中的服务组合问题。但是，这些算法需要复杂的设计流程和艰苦的参数调整，并且缺乏对动态环境的适应性。深度强化学习（DRL）提供了解决云制造服务组合（CMfg-SC）问题的替代方法。作为无模型人工智能方法的DRL使系统能够通过培训来学习最佳服务组合解决方案，因此可以通过元启发式算法来规避上述问题。本文致力于探讨DRL在CMfg-SC中的可能应用。提出了一种基于物流的QoS感知的基于DRL的CMfg-SC。具有优先级重播的对决深度Q网络（DQN）（称为PD-DQN）被设计为DRL算法。研究了PD-DQN的有效性，鲁棒性，适应性和可扩展性，并将其与基本DQN和Q学习进行了比较。实验结果表明，PD-DQN能够有效解决CMfg-SC问题。作为无模型人工智能方法的DRL使系统能够通过培训来学习最佳服务组合解决方案，因此可以通过元启发式算法来规避上述问题。本文致力于探讨DRL在CMfg-SC中的可能应用。提出了一种基于物流的QoS感知的基于DRL的CMfg-SC。具有优先级重播的对决深度Q网络（DQN）（称为PD-DQN）被设计为DRL算法。研究了PD-DQN的有效性，鲁棒性，适应性和可扩展性，并将其与基本DQN和Q学习进行了比较。实验结果表明，PD-DQN能够有效解决CMfg-SC问题。作为无模型人工智能方法的DRL使系统能够通过培训来学习最佳服务组合解决方案，因此可以通过元启发式算法来规避上述问题。本文致力于探讨DRL在CMfg-SC中的可能应用。提出了一种基于物流的QoS感知的基于DRL的CMfg-SC。具有优先级重播的对决深度Q网络（DQN）（称为PD-DQN）被设计为DRL算法。研究了PD-DQN的有效性，鲁棒性，适应性和可扩展性，并将其与基本DQN和Q学习进行了比较。实验结果表明，PD-DQN能够有效解决CMfg-SC问题。因此可以通过元启发式算法来避免上述问题。本文致力于探讨DRL在CMfg-SC中的可能应用。提出了一种基于物流的QoS感知的基于DRL的CMfg-SC。具有优先级重播的对决深度Q网络（DQN）（称为PD-DQN）被设计为DRL算法。研究了PD-DQN的有效性，鲁棒性，适应性和可扩展性，并将其与基本DQN和Q学习进行了比较。实验结果表明，PD-DQN能够有效解决CMfg-SC问题。因此可以通过元启发式算法来避免上述问题。本文致力于探讨DRL在CMfg-SC中的可能应用。提出了一种基于物流的QoS感知的基于DRL的CMfg-SC。具有优先级重播的对决深度Q网络（DQN）（称为PD-DQN）被设计为DRL算法。研究了PD-DQN的有效性，鲁棒性，适应性和可扩展性，并将其与基本DQN和Q学习进行了比较。实验结果表明，PD-DQN能够有效解决CMfg-SC问题。具有优先级重播的对决深度Q网络（DQN）（称为PD-DQN）被设计为DRL算法。研究了PD-DQN的有效性，鲁棒性，适应性和可扩展性，并将其与基本DQN和Q学习进行了比较。实验结果表明，PD-DQN能够有效解决CMfg-SC问题。具有优先级重播的对决深度Q网络（DQN）（称为PD-DQN）被设计为DRL算法。研究了PD-DQN的有效性，鲁棒性，适应性和可扩展性，并将其与基本DQN和Q学习进行了比较。实验结果表明，PD-DQN能够有效解决CMfg-SC问题。