Deep neural networks (DNNs) have enabled impressive breakthroughs in various artificial intelligence (AI) applications recently due to its capability of learning high-level features from big data. However, the current demand of DNNs for computational resources especially the storage consumption is growing due to that the increasing sizes of models are being required for more and more complicated applications. To address this problem, several tensor decomposition methods including tensor-train (TT) and tensor-ring (TR) have been applied to compress DNNs and shown considerable compression effectiveness. In this work, we introduce the hierarchical Tucker (HT), a classical but rarely-used tensor decomposition method, to investigate its capability in neural network compression. We convert the weight matrices and convolutional kernels to both HT and TT formats for comparative study, since the latter is the most widely used decomposition method and the variant of HT. We further theoretically and experimentally discover that the HT format has better performance on compressing weight matrices, while the TT format is more suited for compressing convolutional kernels. Based on this phenomenon we propose a strategy of hybrid tensor decomposition by combining TT and HT together to compress convolutional and fully connected parts separately and attain better accuracy than only using the TT or HT format on convolutional neural networks (CNNs). Our work illuminates the prospects of hybrid tensor decomposition for neural network compression.

由于深度神经网络（DNN）具有从大数据中学习高级功能的能力，因此最近在各种人工智能（AI）应用中实现了令人瞩目的突破。但是，由于越来越复杂的应用程序需要越来越大的模型，DNN当前对计算资源（尤其是存储消耗）的需求正在增长。为了解决这个问题，已经应用了包括张量应变（TT）和张量环（TR）在内的几种张量分解方法来压缩DNN，并且显示出相当大的压缩效果。在这项工作中，我们介绍了经典的但很少使用的张量分解方法-分层塔克（HT），以研究其在神经网络压缩中的能力。我们将权重矩阵和卷积核转换为HT和TT格式以进行比较研究，因为后者是最广泛使用的分解方法和HT的变体。我们进一步从理论上和实验上发现HT格式在压缩权重矩阵上具有更好的性能，而TT格式更适合于压缩卷积核。基于这种现象，我们提出了一种混合张量分解策略，通过将TT和HT结合在一起分别压缩卷积和完全连接的部分，与仅在卷积神经网络（CNN）上仅使用TT或HT格式相比，可以获得更高的准确性。我们的工作阐明了混合张量分解在神经网络压缩中的前景。因为后者是最广泛使用的分解方法和HT的变体。我们进一步从理论上和实验上发现HT格式在压缩权重矩阵上具有更好的性能，而TT格式更适合于压缩卷积核。基于这种现象，我们提出了一种混合张量分解策略，通过将TT和HT结合在一起分别压缩卷积和完全连接的部分，与仅在卷积神经网络（CNN）上仅使用TT或HT格式相比，可以获得更高的准确性。我们的工作阐明了混合张量分解在神经网络压缩中的前景。因为后者是最广泛使用的分解方法和HT的变体。我们进一步从理论上和实验上发现HT格式在压缩权重矩阵上具有更好的性能，而TT格式更适合于压缩卷积核。基于这种现象，我们提出了一种混合张量分解策略，通过将TT和HT结合在一起分别压缩卷积和完全连接的部分，与仅在卷积神经网络（CNN）上仅使用TT或HT格式相比，可以获得更高的准确性。我们的工作阐明了混合张量分解在神经网络压缩中的前景。而TT格式更适合压缩卷积核。基于这种现象，我们提出了一种混合张量分解策略，通过将TT和HT结合在一起分别压缩卷积和完全连接的部分，与仅在卷积神经网络（CNN）上仅使用TT或HT格式相比，可以获得更高的准确性。我们的工作阐明了混合张量分解在神经网络压缩中的前景。而TT格式更适合压缩卷积核。基于这种现象，我们提出了一种混合张量分解策略，通过将TT和HT结合在一起分别压缩卷积和完全连接的部分，与仅在卷积神经网络（CNN）上仅使用TT或HT格式相比，可以获得更高的准确性。我们的工作阐明了混合张量分解在神经网络压缩中的前景。