"Innovization" is a task of learning common relationships among some or all of the Pareto-optimal (PO) solutions in multi- and many-objective optimization problems. Recent studies have shown that a chronological sequence of non-dominated solutions obtained in consecutive iterations during an optimization run also possess salient patterns that can be used to learn problem features to help create new and improved solutions. In this paper, we propose a machine-learning- (ML-) assisted modelling approach that learns the modifications in design variables needed to advance population members towards the Pareto-optimal set. We then propose to use the resulting ML model as an additional innovized repair (IR2) operator to be applied on offspring solutions created by the usual genetic operators, as a novel mean of improving their convergence properties. In this paper, the well-known random forest (RF) method is used as the ML model and is integrated with various evolutionary multi- and many-objective optimization algorithms, including NSGA-II, NSGA-III, and MOEA/D. On several test problems ranging from two to five objectives, we demonstrate improvement in convergence behaviour using the proposed IR2-RF operator. Since the operator does not demand any additional solution evaluations, instead using the history of gradual and progressive improvements in solutions over generations, the proposed ML-based optimization opens up a new direction of optimization algorithm development with advances in AI and ML approaches.

中文翻译：

---

用于进化多目标和多目标优化的增强型创新维修算子

“创新”是一项学习多目标和多目标优化问题中某些或所有帕累托最优（PO）解决方案之间的通用关系的任务。最近的研究表明，在优化过程中，在连续迭代中获得的非支配解决方案的时间顺序也具有显着模式，可用于学习问题特征以帮助创建新的和改进的解决方案。在本文中，我们提出了一种机器学习（ML）辅助建模方法，该方法学习了将总体成员推进到Pareto最优集合所需的设计变量的修改。然后，我们建议将所得的ML模型用作附加的创新修复（IR2）运算符，以将其应用于由常规遗传运算符创建的后代解决方案，作为改善其收敛性的一种新颖手段。在本文中，众所周知的随机森林（RF）方法用作ML模型，并与包括NSGA-II，NSGA-III和MOEA / D在内的各种进化多目标和多目标优化算法集成在一起。在从2到5个目标的几个测试问题上，我们证明了使用提出的IR2-RF算子可以改善收敛性能。由于操作员不需要任何其他解决方案评估，而是使用历代解决方案逐步改进的历史，因此所提出的基于ML的优化为AI和ML方法的发展开辟了优化算法开发的新方向。著名的随机森林（RF）方法用作ML模型，并与包括NSGA-II，NSGA-III和MOEA / D在内的各种进化多目标和多目标优化算法集成在一起。在从2到5个目标的几个测试问题上，我们证明了使用提出的IR2-RF算子可以改善收敛性能。由于操作员不需要任何其他解决方案评估，而是使用历代解决方案逐步改进的历史，因此，所提出的基于ML的优化为AI和ML方法的发展开辟了优化算法开发的新方向。著名的随机森林（RF）方法用作ML模型，并与包括NSGA-II，NSGA-III和MOEA / D在内的各种进化多目标和多目标优化算法集成在一起。在从2到5个目标的几个测试问题上，我们证明了使用提出的IR2-RF算子可以改善收敛性能。由于操作员不需要任何其他解决方案评估，而是使用历代解决方案逐步改进的历史，因此，所提出的基于ML的优化为AI和ML方法的发展开辟了优化算法开发的新方向。我们使用提出的IR2-RF算子证明了收敛行为的改善。由于操作员不需要任何其他解决方案评估，而是使用历代解决方案逐步改进的历史，因此，所提出的基于ML的优化为AI和ML方法的发展开辟了优化算法开发的新方向。我们使用提出的IR2-RF算子证明了收敛行为的改善。由于操作员不需要任何其他解决方案评估，而是使用历代解决方案逐步改进的历史，因此，所提出的基于ML的优化为AI和ML方法的发展开辟了优化算法开发的新方向。