Abstract The insertion of randomly-arriving high-priority customers (HCs) into existing queues leads to longer waiting time of regular or scheduled customers. However, given their different levels of priority, not all HCs need to be served immediately. To reduce the waiting time for regular customers without affecting the service quality for HCs, this paper addresses the optimal insertion problem of HCs by considering their waiting time targets assigned based on their levels of priority. A finite-horizon Markov decision process model is proposed to minimize the total waiting cost incurred by both regular customers and HCs. The marginal waiting penalty is constant for regular customers and non-decreasing for HCs. Several properties are observed: the optimal control policy is proved to be a state-dependent threshold policy; the marginal effect of each state variable on the optimal action is bounded by 1; and, in some meaningful cases, the threshold proves to be state-independent. Based on these properties, several heuristic policies are proposed to solve large-size problems. Numerical experiments are performed to validate the structure of the optimal control policies and compare the performances of the heuristic policies. These results imply that the optimal control policy significantly outperforms the traditional HC-first policy. The best heuristic policy, characterized by a threshold policy derived through policy iteration, performs within 0.44% of an optimal policy for most cases, which offers insights into the near-optimal control for large-size problems.

中文翻译：

---

具有等待时间目标的客户的最佳插入

摘要 随机到达的高优先级客户（HC）插入现有队列会导致常规或预定客户的等待时间更长。但是，鉴于他们的优先级不同，并非所有 HC 都需要立即得到服务。为了在不影响HCs服务质量的情况下减少常客的等待时间，本文通过考虑基于优先级分配的等待时间目标来解决HCs的最佳插入问题。提出了一种有限范围马尔可夫决策过程模型，以最小化普通客户和 HC 产生的总等待成本。常客的边际等待惩罚是恒定的，而 HC 的边际等待惩罚是不变的。观察到几个特性：最优控制策略被证明是一个状态相关的阈值策略；每个状态变量对最优动作的边际效应以 1 为界；并且，在某些有意义的情况下，阈值被证明与状态无关。基于这些特性，提出了几种启发式策略来解决大型问题。进行数值实验以验证最优控制策略的结构并比较启发式策略的性能。这些结果意味着最优控制策略明显优于传统的 HC-first 策略。最佳启发式策略的特征在于通过策略迭代得出的阈值策略，在大多数情况下，其执行在最优策略的 0.44% 以内，这为大型问题的近乎最优控制提供了见解。阈值证明是独立于状态的。基于这些特性，提出了几种启发式策略来解决大型问题。进行数值实验以验证最优控制策略的结构并比较启发式策略的性能。这些结果意味着最优控制策略明显优于传统的 HC-first 策略。最佳启发式策略的特征在于通过策略迭代得出的阈值策略，在大多数情况下，其执行在最优策略的 0.44% 以内，这为大型问题的近乎最优控制提供了见解。阈值证明是独立于状态的。基于这些特性，提出了几种启发式策略来解决大型问题。进行数值实验以验证最优控制策略的结构并比较启发式策略的性能。这些结果意味着最优控制策略明显优于传统的 HC-first 策略。最佳启发式策略的特征在于通过策略迭代得出的阈值策略，在大多数情况下，其执行在最优策略的 0.44% 以内，这为大型问题的近乎最优控制提供了见解。进行数值实验以验证最优控制策略的结构并比较启发式策略的性能。这些结果意味着最优控制策略明显优于传统的 HC-first 策略。最佳启发式策略的特征在于通过策略迭代得出的阈值策略，在大多数情况下，其执行在最优策略的 0.44% 以内，这为大型问题的近乎最优控制提供了见解。进行数值实验以验证最优控制策略的结构并比较启发式策略的性能。这些结果意味着最优控制策略明显优于传统的 HC-first 策略。最佳启发式策略的特征在于通过策略迭代得出的阈值策略，在大多数情况下，其执行在最优策略的 0.44% 以内，这为大型问题的近乎最优控制提供了见解。