DNN accelerators provide efficiency by leveraging reuse of activations/weights/outputs during the DNN computations to reduce data movement from DRAM to the chip. The reuse is captured by the accelerator's dataflow. While there has been significant prior work in exploring and comparing various dataflows, the strategy for assigning on-chip hardware resources (i.e., compute and memory) given a dataflow that can optimize for performance/energy while meeting platform constraints of area/power for DNN(s) of interest is still relatively unexplored. The design-space of choices for balancing compute and memory explodes combinatorially, as we show in this work (e.g., as large as O(10^(72)) choices for running \mobilenet), making it infeasible to do manual-tuning via exhaustive searches. It is also difficult to come up with a specific heuristic given that different DNNs and layer types exhibit different amounts of reuse. In this paper, we propose an autonomous strategy called ConfuciuX to find optimized HW resource assignments for a given model and dataflow style. ConfuciuX leverages a reinforcement learning method, REINFORCE, to guide the search process, leveraging a detailed HW performance cost model within the training loop to estimate rewards. We also augment the RL approach with a genetic algorithm for further fine-tuning. ConfuciuX demonstrates the highest sample-efficiency for training compared to other techniques such as Bayesian optimization, genetic algorithm, simulated annealing, and other RL methods. It converges to the optimized hardware configuration 4.7 to 24 times faster than alternate techniques.

中文翻译：

---

ConfuciuX：使用强化学习为 DNN 加速器分配自主硬件资源

DNN 加速器通过在 DNN 计算期间利用激活/权重/输出的重用来减少从 DRAM 到芯片的数据移动，从而提高效率。重用由加速器的数据流捕获。虽然在探索和比较各种数据流方面已经有重要的先前工作，但分配片上硬件资源（即计算和内存）的策略给定的数据流可以优化性能/能量，同时满足 DNN 的面积/功率的平台限制(s) 兴趣仍然相对未开发。正如我们在这项工作中所展示的，平衡计算和内存的选择设计空间组合地爆炸式增长（例如，运行 \mobilenet 的选择大到 O(10^(72))），使得通过手动调整是不可行的详尽的搜索。鉴于不同的 DNN 和层类型表现出不同的重用量，也很难提出特定的启发式方法。在本文中，我们提出了一种称为 ConfuciuX 的自主策略，用于为给定的模型和数据流样式找到优化的硬件资源分配。ConfuciuX 利用强化学习方法 REINFORCE 来指导搜索过程，在训练循环中利用详细的硬件性能成本模型来估计奖励。我们还使用遗传算法来增强 RL 方法，以进行进一步的微调。与贝叶斯优化、遗传算法、模拟退火和其他 RL 方法等其他技术相比，ConfuciuX 展示了最高的训练样本效率。它收敛到优化的硬件配置的速度比替代技术快 4.7 到 24 倍。我们提出了一种称为 ConfuciuX 的自主策略，为给定的模型和数据流样式找到优化的硬件资源分配。ConfuciuX 利用强化学习方法 REINFORCE 来指导搜索过程，在训练循环中利用详细的硬件性能成本模型来估计奖励。我们还使用遗传算法来增强 RL 方法，以进行进一步的微调。与贝叶斯优化、遗传算法、模拟退火和其他 RL 方法等其他技术相比，ConfuciuX 展示了最高的训练样本效率。它收敛到优化的硬件配置的速度比替代技术快 4.7 到 24 倍。我们提出了一种称为 ConfuciuX 的自主策略，为给定的模型和数据流样式找到优化的硬件资源分配。ConfuciuX 利用强化学习方法 REINFORCE 来指导搜索过程，在训练循环中利用详细的硬件性能成本模型来估计奖励。我们还使用遗传算法来增强 RL 方法，以进行进一步的微调。与贝叶斯优化、遗传算法、模拟退火和其他 RL 方法等其他技术相比，ConfuciuX 展示了最高的训练样本效率。它收敛到优化的硬件配置的速度比替代技术快 4.7 到 24 倍。REINFORCE，指导搜索过程，在训练循环中利用详细的硬件性能成本模型来估计奖励。我们还使用遗传算法来增强 RL 方法，以进行进一步的微调。与贝叶斯优化、遗传算法、模拟退火和其他 RL 方法等其他技术相比，ConfuciuX 展示了最高的训练样本效率。它收敛到优化的硬件配置的速度比替代技术快 4.7 到 24 倍。REINFORCE，指导搜索过程，在训练循环中利用详细的硬件性能成本模型来估计奖励。我们还使用遗传算法来增强 RL 方法，以进行进一步的微调。与贝叶斯优化、遗传算法、模拟退火和其他 RL 方法等其他技术相比，ConfuciuX 展示了最高的训练样本效率。它收敛到优化的硬件配置的速度比替代技术快 4.7 到 24 倍。遗传算法、模拟退火和其他 RL 方法。它收敛到优化的硬件配置的速度比替代技术快 4.7 到 24 倍。遗传算法、模拟退火和其他 RL 方法。它收敛到优化的硬件配置的速度比替代技术快 4.7 到 24 倍。