当前位置: X-MOL 学术arXiv.cs.PF › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
TENET: A Framework for Modeling Tensor Dataflow Based on Relation-centric Notation
arXiv - CS - Performance Pub Date : 2021-05-05 , DOI: arxiv-2105.01892
Liqiang Lu, Naiqing Guan, Yuyue Wang, Liancheng Jia, Zizhang Luo, Jieming Yin, Jason Cong, Yun Liang

Accelerating tensor applications on spatial architectures provides high performance and energy-efficiency, but requires accurate performance models for evaluating various dataflow alternatives. Such modeling relies on the notation of tensor dataflow and the formulation of performance metrics. Recent proposed compute-centric and data-centric notations describe the dataflow using imperative directives. However, these two notations are less expressive and thus lead to limited optimization opportunities and inaccurate performance models. In this paper, we propose a framework TENET that models hardware dataflow of tensor applications. We start by introducing a relation-centric notation, which formally describes the hardware dataflow for tensor computation. The relation-centric notation specifies the hardware dataflow, PE interconnection, and data assignment in a uniform manner using relations. The relation-centric notation is more expressive than the compute-centric and data-centric notations by using more sophisticated affine transformations. Another advantage of relation-centric notation is that it inherently supports accurate metrics estimation, including data reuse, bandwidth, latency, and energy. TENET computes each performance metric by counting the relations using integer set structures and operators. Overall, TENET achieves 37.4\% and 51.4\% latency reduction for CONV and GEMM kernels compared with the state-of-the-art data-centric notation by identifying more sophisticated hardware dataflows.

中文翻译:

TENET:基于关系中心表示法的张量数据流建模框架

加快空间架构上的张量应用程序可提供高性能和高能效,但需要准确的性能模型来评估各种数据流替代方案。这种建模依赖于张量数据流的表示法和性能指标的制定。最近提出的以计算为中心和以数据为中心的表示法使用命令式指令描述了数据流。但是,这两个符号的表达性较差,因此导致优化机会有限和性能模型不准确。在本文中,我们提出了一个框架TENET,该框架可以对张量应用程序的硬件数据流进行建模。我们从介绍一个以关系为中心的符号开始,该符号正式描述了用于张量计算的硬件数据流。以关系为中心的表示法指定了硬件数据流,PE互连,使用关系以统一的方式分配数据。通过使用更复杂的仿射变换,以关系为中心的表示法比以计算为中心的表示法和以数据为中心的表示法更具表达力。以关系为中心的表示法的另一个优点是,它固有地支持准确的度量估计,包括数据重用,带宽,等待时间和能量。TENET通过使用整数集结构和运算符对关系进行计数来计算每个性能指标。总体而言,与最新的以数据为中心的表示法相比,TENET通过识别更复杂的硬件数据流,使CONV和GEMM内核的延迟减少了37.4%和51.4%。通过使用更复杂的仿射变换,以关系为中心的表示法比以计算为中心的表示法和以数据为中心的表示法更具表达力。以关系为中心的表示法的另一个优点是,它固有地支持准确的度量估计,包括数据重用,带宽,等待时间和能量。TENET通过使用整数集结构和运算符对关系进行计数来计算每个性能指标。总体而言,与最新的以数据为中心的表示法相比,TENET通过识别更复杂的硬件数据流,使CONV和GEMM内核的延迟减少了37.4%和51.4%。通过使用更复杂的仿射变换,以关系为中心的表示法比以计算为中心的表示法和以数据为中心的表示法更具表达力。以关系为中心的表示法的另一个优点是,它固有地支持准确的度量估计,包括数据重用,带宽,等待时间和能量。TENET通过使用整数集结构和运算符对关系进行计数来计算每个性能指标。总体而言,与最新的以数据为中心的表示法相比,TENET通过识别更复杂的硬件数据流,使CONV和GEMM内核的延迟减少了37.4%和51.4%。TENET通过使用整数集结构和运算符对关系进行计数来计算每个性能指标。总体而言,与最新的以数据为中心的表示法相比,TENET通过识别更复杂的硬件数据流,使CONV和GEMM内核的延迟减少了37.4%和51.4%。TENET通过使用整数集结构和运算符对关系进行计数来计算每个性能指标。总体而言,与最新的以数据为中心的表示法相比,TENET通过识别更复杂的硬件数据流,使CONV和GEMM内核的延迟减少了37.4%和51.4%。
更新日期:2021-05-06
down
wechat
bug