Design space exploration is an important but costly step involved in the design/deployment of custom architectures to squeeze out maximum possible performance and energy efficiency. Conventionally, optimizations require iterative sampling of the design space using simulation or heuristic tools. In this paper we investigate the possibility of learning the optimization task using machine learning and hence using the learnt model to predict optimal parameters for the design and mapping space of custom architectures, bypassing any exploration step. We use three case studies involving the optimal array design, SRAM buffer sizing, mapping, and schedule determination for systolic-array-based custom architecture design and mapping space. Within the purview of these case studies, we show that it is possible to capture the design space and train a model to "generalize" prediction the optimal design and mapping parameters when queried with workload and design constraints. We perform systematic design-aware and statistical analysis of the optimization space for our case studies and highlight the patterns in the design space. We formulate the architecture design and mapping as a machine learning problem that allows us to leverage existing ML models for training and inference. We design and train a custom network architecture called AIRCHITECT, which is capable of learning the architecture design space with as high as 94.3% test accuracy and predicting optimal configurations which achieve on average (GeoMean) of 99.9% the best possible performance on a test dataset with $10^5$ GEMM workloads.

中文翻译：

---

AIRCHITECT：学习自定义架构设计和映射空间

设计空间探索是涉及定制架构设计/部署的重要但成本高昂的步骤，以挤出最大可能的性能和能源效率。通常，优化需要使用模拟或启发式工具对设计空间进行迭代采样。在本文中，我们研究了使用机器学习学习优化任务的可能性，从而使用学习模型来预测自定义架构的设计和映射空间的最佳参数，绕过任何探索步骤。我们使用三个案例研究，涉及基于脉动阵列的定制架构设计和映射空间的最佳阵列设计、SRAM 缓冲区大小、映射和调度确定。在这些案例研究的范围内，我们表明，当使用工作负载和设计约束进行查询时，可以捕获设计空间并训练模型以“概括”预测最佳设计和映射参数。我们对案例研究的优化空间进行系统的设计感知和统计分析，并突出设计空间中的模式。我们将架构设计和映射制定为机器学习问题，使我们能够利用现有的 ML 模型进行训练和推理。我们设计并训练了一个名为 AIRCHITECT 的自定义网络架构，该架构能够以高达 94.3% 的测试准确率学习架构设计空间，并预测最佳配置，在测试数据集上平均 (GeoMean) 达到 99.9% 的最佳性能具有 10 美元 ^ 5 美元的 GEMM 工作负载。在使用工作负载和设计约束进行查询时预测最佳设计和映射参数。我们对案例研究的优化空间进行系统的设计感知和统计分析，并突出设计空间中的模式。我们将架构设计和映射制定为机器学习问题，使我们能够利用现有的 ML 模型进行训练和推理。我们设计并训练了一个名为 AIRCHITECT 的自定义网络架构，该架构能够以高达 94.3% 的测试准确率学习架构设计空间，并预测最佳配置，在测试数据集上平均 (GeoMean) 达到 99.9% 的最佳性能具有 10 美元 ^ 5 美元的 GEMM 工作负载。在使用工作负载和设计约束进行查询时预测最佳设计和映射参数。我们对案例研究的优化空间进行系统的设计感知和统计分析，并突出设计空间中的模式。我们将架构设计和映射制定为机器学习问题，使我们能够利用现有的 ML 模型进行训练和推理。我们设计并训练了一个名为 AIRCHITECT 的自定义网络架构，该架构能够以高达 94.3% 的测试准确率学习架构设计空间，并预测最佳配置，在测试数据集上平均 (GeoMean) 达到 99.9% 的最佳性能具有 10 美元 ^ 5 美元的 GEMM 工作负载。我们对案例研究的优化空间进行系统的设计感知和统计分析，并突出设计空间中的模式。我们将架构设计和映射制定为机器学习问题，使我们能够利用现有的 ML 模型进行训练和推理。我们设计并训练了一个名为 AIRCHITECT 的自定义网络架构，该架构能够以高达 94.3% 的测试准确率学习架构设计空间，并预测最佳配置，在测试数据集上平均 (GeoMean) 达到 99.9% 的最佳性能具有 10 美元 ^ 5 美元的 GEMM 工作负载。我们对案例研究的优化空间进行系统的设计感知和统计分析，并突出设计空间中的模式。我们将架构设计和映射制定为机器学习问题，使我们能够利用现有的 ML 模型进行训练和推理。我们设计并训练了一个名为 AIRCHITECT 的自定义网络架构，该架构能够以高达 94.3% 的测试准确率学习架构设计空间，并预测最佳配置，在测试数据集上平均 (GeoMean) 达到 99.9% 的最佳性能具有 10 美元 ^ 5 美元的 GEMM 工作负载。我们将架构设计和映射制定为机器学习问题，使我们能够利用现有的 ML 模型进行训练和推理。我们设计并训练了一个名为 AIRCHITECT 的自定义网络架构，该架构能够以高达 94.3% 的测试准确率学习架构设计空间，并预测最佳配置，在测试数据集上平均 (GeoMean) 达到 99.9% 的最佳性能具有 10 美元 ^ 5 美元的 GEMM 工作负载。我们将架构设计和映射制定为机器学习问题，使我们能够利用现有的 ML 模型进行训练和推理。我们设计并训练了一个名为 AIRCHITECT 的自定义网络架构，该架构能够以高达 94.3% 的测试准确率学习架构设计空间，并预测最佳配置，在测试数据集上平均 (GeoMean) 达到 99.9% 的最佳性能具有 10 美元 ^ 5 美元的 GEMM 工作负载。