Benchmarking and performance analysis play an important role in understanding the behaviour of iterative optimization heuristics (IOHs) such as local search algorithms, genetic and evolutionary algorithms, Bayesian optimization algorithms, etc. This task, however, involves manual setup, execution, and analysis of the experiment on an individual basis, which is laborious and can be mitigated by a generic and well-designed platform. For this purpose, we propose IOHanalyzer, a new user-friendly tool for the analysis, comparison, and visualization of performance data of IOHs. Implemented in R and C++, IOHanalyzer is fully open source. It is available on CRAN and GitHub. IOHanalyzer provides detailed statistics about fixed-target running times and about fixed-budget performance of the benchmarked algorithms on real-valued, single-objective optimization tasks. Performance aggregation over several benchmark problems is possible, for example in the form of empirical cumulative distribution functions. Key advantages of IOHanalyzer over other performance analysis packages are its highly interactive design, which allows users to specify the performance measures, ranges, and granularity that are most useful for their experiments, and the possibility to analyze not only performance traces, but also the evolution of dynamic state parameters. IOHanalyzer can directly process performance data from the main benchmarking platforms, including the COCO platform, Nevergrad, and our own IOHexperimenter. An R programming interface is provided for users preferring to have a finer control over the implemented functionalities.

中文翻译：

---

IOHanalyzer：迭代优化启发式的性能分析

基准测试和性能分析在理解迭代优化启发式 (IOH) 的行为方面发挥着重要作用，例如局部搜索算法、遗传和进化算法、贝叶斯优化算法等。 然而，这项任务涉及手动设置、执行和分析以个人为基础的实验，这是费力的，并且可以通过通用且设计良好的平台来减轻。为此，我们提出了 IOHanalyzer，这是一种新的用户友好工具，用于分析、比较和可视化 IOH 的性能数据。IOHanalyzer 用 R 和 C++ 实现，是完全开源的。它可以在 CRAN 和 GitHub 上找到。IOHanalyzer 提供有关固定目标运行时间和基准算法在实值上的固定预算性能的详细统计数据，单目标优化任务。几个基准问题的性能聚合是可能的，例如以经验累积分布函数的形式。与其他性能分析包相比，IOHanalyzer 的主要优势在于其高度交互的设计，它允许用户指定对其实验最有用的性能度量、范围和粒度，并且不仅可以分析性能轨迹，还可以分析演变动态参数。IOHanalyzer 可以直接处理来自主要基准测试平台的性能数据，包括 COCO 平台、Nevergrad 和我们自己的 IOHexperimenter。为希望更好地控制已实现功能的用户提供了 R 编程接口。几个基准问题的性能聚合是可能的，例如以经验累积分布函数的形式。与其他性能分析包相比，IOHanalyzer 的主要优势在于其高度交互的设计，它允许用户指定对其实验最有用的性能度量、范围和粒度，并且不仅可以分析性能轨迹，还可以分析演变动态参数。IOHanalyzer 可以直接处理来自主要基准测试平台的性能数据，包括 COCO 平台、Nevergrad 和我们自己的 IOHexperimenter。为希望更好地控制已实现功能的用户提供了 R 编程接口。几个基准问题的性能聚合是可能的，例如以经验累积分布函数的形式。与其他性能分析包相比，IOHanalyzer 的主要优势在于其高度交互的设计，它允许用户指定对其实验最有用的性能度量、范围和粒度，并且不仅可以分析性能轨迹，还可以分析演变动态参数。IOHanalyzer 可以直接处理来自主要基准测试平台的性能数据，包括 COCO 平台、Nevergrad 和我们自己的 IOHexperimenter。为希望更好地控制已实现功能的用户提供了 R 编程接口。与其他性能分析包相比，IOHanalyzer 的主要优势在于其高度交互的设计，它允许用户指定对其实验最有用的性能度量、范围和粒度，并且不仅可以分析性能轨迹，还可以分析演变动态参数。IOHanalyzer 可以直接处理来自主要基准测试平台的性能数据，包括 COCO 平台、Nevergrad 和我们自己的 IOHexperimenter。为希望更好地控制已实现功能的用户提供了 R 编程接口。与其他性能分析包相比，IOHanalyzer 的主要优势在于其高度交互的设计，它允许用户指定对其实验最有用的性能度量、范围和粒度，并且不仅可以分析性能轨迹，还可以分析演变动态参数。IOHanalyzer 可以直接处理来自主要基准测试平台的性能数据，包括 COCO 平台、Nevergrad 和我们自己的 IOHexperimenter。为希望更好地控制已实现功能的用户提供了 R 编程接口。不仅可以分析性能轨迹，还可以分析动态参数的演变。IOHanalyzer 可以直接处理来自主要基准测试平台的性能数据，包括 COCO 平台、Nevergrad 和我们自己的 IOHexperimenter。为希望更好地控制已实现功能的用户提供了 R 编程接口。不仅可以分析性能轨迹，还可以分析动态参数的演变。IOHanalyzer 可以直接处理来自主要基准测试平台的性能数据，包括 COCO 平台、Nevergrad 和我们自己的 IOHexperimenter。为希望更好地控制已实现功能的用户提供了 R 编程接口。