Chemical plants are complex dynamical systems. Optimising plant operation for non-stationary scenarios, such as changing the output product and recovering from abrupt disturbances, is challenging because a chemical plant has many operation points and complex responses. A plant simulator can be used to compute the optimal procedures. However, because of modelling errors or contingent changes in the external conditions, such as weather and feed purity, there exist gaps between the behaviour of a simulator and that of a real plant. This poses another challenge in a simulator-based approach, which adds to the computational complexity of the problem. In this study, we propose a simulator-based approach for optimising chemical plant operations using deep reinforcement learning and knowledge-based automated reasoning. Specifically, a reinforcement learning agent is trained on a whole-plant simulator with a policy gradient algorithm, using automated reasoning to narrow down the action space of the agent. To maintain the optimality of the procedures in a real plant, a simple method for the state and parameter estimation of the system at run time is introduced. This method can improve the accuracy of the response prediction model (i.e. the plant simulator) on which the agent depends. The presented method is evaluated on a real chemical distillation plant. The experimental results indicate that the proposed approach consumed only half the time and steam (heat energy) in comparison with that in the case of human-emulated procedures.

化工厂是复杂的动力系统。针对非平稳场景优化工厂运营（例如改变输出产品和从突然干扰中恢复）具有挑战性，因为化工厂有许多操作点和复杂的响应。工厂模拟器可用于计算最佳程序。然而，由于建模错误或外部条件（如天气和饲料纯度）的偶然变化，模拟器的行为与真实工厂的行为之间存在差距。这对基于模拟器的方法提出了另一个挑战，这增加了问题的计算复杂性。在这项研究中，我们提出了一种基于模拟器的方法，用于使用深度强化学习和基于知识的自动推理来优化化工厂的运营。具体来说，使用策略梯度算法在整厂模拟器上训练强化学习代理，使用自动推理缩小代理的动作空间。为了在实际工厂中保持程序的最优性，引入了一种在运行时估计系统状态和参数的简单方法。这种方法可以提高代理所依赖的响应预测模型（即工厂模拟器）的准确性。所提出的方法在真实的化学蒸馏设备上进行了评估。实验结果表明，与人工模拟程序相比，所提出的方法仅消耗了一半的时间和蒸汽（热能）。使用自动推理来缩小代理的动作空间。为了在实际工厂中保持程序的最优性，引入了一种在运行时估计系统状态和参数的简单方法。这种方法可以提高代理所依赖的响应预测模型（即工厂模拟器）的准确性。所提出的方法在真实的化学蒸馏设备上进行了评估。实验结果表明，与人工模拟程序相比，所提出的方法仅消耗了一半的时间和蒸汽（热能）。使用自动推理来缩小代理的动作空间。为了在实际工厂中保持程序的最优性，引入了一种在运行时估计系统状态和参数的简单方法。这种方法可以提高代理所依赖的响应预测模型（即工厂模拟器）的准确性。所提出的方法在真实的化学蒸馏设备上进行了评估。实验结果表明，与人工模拟程序相比，所提出的方法仅消耗了一半的时间和蒸汽（热能）。代理所依赖的工厂模拟器）。所提出的方法在真实的化学蒸馏设备上进行了评估。实验结果表明，与人工模拟程序相比，所提出的方法仅消耗了一半的时间和蒸汽（热能）。代理所依赖的工厂模拟器）。所提出的方法在真实的化学蒸馏设备上进行了评估。实验结果表明，与人工模拟程序相比，所提出的方法仅消耗了一半的时间和蒸汽（热能）。