Data copy is a widely-used memory operation in many programs and operating system services. In conventional computers, data copy is often carried out by two separate read and write transactions that pass data back and forth between the DRAM chip and the processor chip. Some prior mechanisms propose to avoid this unnecessary data movement by using the shared internal bus in the DRAM chip to directly copy data within the DRAM chip (e.g., between two DRAM banks). While these methods exhibit superior performance compared to conventional techniques, data copy across different DRAM banks is still greatly slower than data copy within the same DRAM bank. Hence, these techniques have limited benefit for the emerging 3D-stacked memories (e.g., HMC and HBM) that contain hundreds of DRAM banks across multiple memory controllers. In this paper, we present Network-on-Memory (NoM), a lightweight inter-bank data communication scheme that enables direct data copy across both memory banks of a 3D-stacked memory. NoM adopts a TDM-based circuit-switching design, where circuit setup is done by the memory controller. Compared to state-of-the-art approaches, NoM enables both fast data copy between multiple DRAM banks and concurrent data transfer operations. Our evaluation shows that NoM improves the performance of data-intensive workloads by 3.8X and 75 percent, on average, compared to the baseline conventional 3D-stacked DRAM architecture and state-of-the-art techniques, respectively.

中文翻译：

---

NoM：用于在高度存储的内存中进行银行间数据传输的内存网络

数据复制是许多程序和操作系统服务中广泛使用的内存操作。在传统计算机中，数据复制通常由两个独立的读写事务执行，这些事务在 DRAM 芯片和处理器芯片之间来回传递数据。一些现有机制提出通过使用DRAM芯片中的共享内部总线来直接复制DRAM芯片内的数据（例如，在两个DRAM库之间）来避免这种不必要的数据移动。虽然这些方法与传统技术相比表现出优越的性能，但跨不同 DRAM 组的数据复制仍然比同一 DRAM 组内的数据复制慢得多。因此，这些技术对于包含跨多个内存控制器的数百个 DRAM 组的新兴 3D 堆叠内存（例如，HMC 和 HBM）的益处有限。在本文中，我们提出了内存上网络 (NoM)，这是一种轻量级的跨库数据通信方案，可实现跨 3D 堆栈内存的两个内存库的直接数据复制。NoM 采用基于 TDM 的电路交换设计，其中电路设置由存储器控制器完成。与最先进的方法相比，NoM 支持多个 DRAM 库之间的快速数据复制和并发数据传输操作。我们的评估表明，与基准传统 3D 堆叠 DRAM 架构和最先进的技术相比，NoM 分别将数据密集型工作负载的性能平均提高了 3.8 倍和 75%。其中电路设置由内存控制器完成。与最先进的方法相比，NoM 支持多个 DRAM 库之间的快速数据复制和并发数据传输操作。我们的评估表明，与基准传统 3D 堆叠 DRAM 架构和最先进的技术相比，NoM 分别将数据密集型工作负载的性能平均提高了 3.8 倍和 75%。其中电路设置由内存控制器完成。与最先进的方法相比，NoM 支持多个 DRAM 库之间的快速数据复制和并发数据传输操作。我们的评估表明，与基准传统 3D 堆叠 DRAM 架构和最先进的技术相比，NoM 分别将数据密集型工作负载的性能平均提高了 3.8 倍和 75%。