美国应用材料公司蔡伏羲AISY： 存内计算——基于可变电阻式存储器"瓦片式"设计的人工智能芯片

摘要：美国应用材料公司芯片设计组蔡伏羲和合作者定制设计了一款人工智能芯片，用可变电阻式存储器作为计算单元来实现模拟存内计算。该芯片在乘积累加运算上有很高的能源效率和运算效率，适合用于人工智能相关应用硬件加速。其储存阵列的"瓦片式"设计使其具有良好的扩展性，可以实现大规模的神经网络计算。

关键词：Advanced Intelligent Systems, 可变电阻式存储器，存内计算，人工智能芯片，模拟计算

近年来，人工智能和机器学习技术已经深入到我们的日常生活的方方面面，并且极大的便利了我们的衣食住行。与此同时，这个大数据时代对于高效率低能耗的计算的需求也正不断地增长。对此，基于传统晶体管器件的数字系统及其冯诺依曼架构面临着很多挑战。其中包括晶体管器件尺寸越来越接近物理极限（摩尔定律的极限）和冯诺依曼架构中大量频繁的处理器和储存单元间的数据传输（冯诺依曼瓶颈）。介于这些方面考量，业界一直在寻找计算效率更高，能耗更低的硬件用于加速人工智能应用。

于是“超越摩尔”的概念被提出， 新性器件和新型计算方法层出不穷。其中，基于非易失性存储器的模拟存内计算方法被发现具有极高的计算效率以及低功耗，非常适用于人工智能相关的硬件加速，引起了人们极大的研究兴趣。存内计算（或者存算一体）的优雅之处在于其计算乘积累加的过程是在储存单元本地实现的，而非递交给处理器，由此避免了大量数据传输导致的能耗。而且乘积累加运算完全是通过物理方法实现的的模拟计算，利用欧姆定律实现乘法，基尔霍夫定律实现加法，从而达到矢量矩阵乘法运算极高的并行性和功耗效率。

存内计算的一个关键在于找到合适的高性能存储器件，可变电阻式存储器（又称忆阻器）是一个合适的选择。可变电阻式存储器利用其自身的电阻值高低来表示存储的数据值。由于其阻值会随着所加电压连续改变，所以可以实现多级存储（而非”0“，”1“）。除此之外，可变电阻式存储器还具有低能耗，操作电压低，尺寸可以缩小，与CMOS兼容等优点。基于大规模的可变电阻式存储器的存内计算，可以实现大型矩阵的储存和运算，而这恰好是深度神经网络运算的基石。

美国应用材料公司芯片设计组首次内部开发并定制设计了一款人工智能芯片，用可变电阻式存储器作为计算单元来实现模拟存内计算。该芯片在乘积累加运算上有很高的能源效率和运算效率，适合用于人工智能相关应用硬件加速，其储存阵列的瓦片式设计使其具有良好的扩展性，可以实现大规模的神经网络计算。相关结果发表在Advanced Intelligent Systems上。

这个单片系统使用65纳米节点，把四个可变电阻式存储器瓦片式阵列，及其所需的外围模拟电路，数字控制模块和一个RISCV处理器完全集成在同一块硅片上。这种紧密的集成可减少信号传输中的干扰，并使得每个芯片可以像电脑一样独立运作。而且变电阻式存储器阵列使用可扩展和规模化的“瓦片式“设计，使得“瓦片” 块被设计为可配置的知识产权 (IP) 模块，用作构建各种神经网络的主要组件。如果要在系统中实现大规模的深度神经网络系统，只需要把成百上千个这种瓦片式阵列连接在一起。

设计组蔡伏羲及合作者在这个芯片上实现了LeNet-1神经网络并展示了其对于MNIST数据集的分类应用。在变电阻式存储器瓦片硬件上的分类准确率结果和Pytorch软件仿真的准确率高度吻合，在1000个测试数据上达到了96.8%的准确率， 并展示出73.9 TOPS/W的高能效。他们还研发了大型一个仿真软件AI Sim用来预估系统在大规模神经网络应用下的性能，并且为内部半导体器件的开发和系统设计上提供指导方向。