The growing popularity of in-memory computing for bigdata analytics often causes performance bottlenecks to memory subsystem resided in operating systems (OS). This article purposes cooperative memory expansion (COMEX), an OS kernel extension. COMEX establishes a stable pool of memory collectively across nodes in a cluster and enhances OS's memory subsystem for memory aggregation from connected machines by allowing process's page table to track remote memory page frames without programmer effort or modifications to application codes. COMEX employs Remote Direct Memory Access (RDMA) for low-latency data transfer with destination kernel bypassed and does not rely on an old design of the I/O block subsystem usually adopted by all known remote paging. COMEX fits soundly in the emerging system design approach of resource disaggregation which breaks hard walls between server-centric machines into a new design paradigm of separated resource pools. The new architecture facilitates both system scaling-up and scaling-out, also eliminates imbalance resources existing in datacenters. We have implemented COMEX based on Linux kernel 3.10.87 and deployed on our 32 networked servers. Performance evaluation results under ten applications from two benchmark suites reveal the speedup of up to 170 times when application execution footprints are 10 times larger than available system memory.

中文翻译：

---

通过操作系统内核支持网络计算系统的协同内存扩展

用于大数据分析的内存计算的日益普及通常会导致驻留在操作系统 (OS) 中的内存子系统的性能瓶颈。本文旨在协作内存扩展 (COMEX)，这是一种操作系统内核扩展。COMEX 跨集群中的节点共同建立稳定的内存池，并通过允许进程的页表跟踪远程内存页帧，而无需程序员的努力或修改应用程序代码，从而增强操作系统的内存子系统，以便从连接的机器进行内存聚合。COMEX 采用远程直接内存访问 (RDMA) 来实现绕过目标内核的低延迟数据传输，并且不依赖于所有已知远程分页通常采用的 I/O 块子系统的旧设计。COMEX 非常适合新兴的资源分解系统设计方法，该方法打破了以服务器为中心的机器之间的硬墙，成为分离资源池的新设计范式。新架构有利于系统的纵向扩展和横向扩展，也消除了数据中心中存在的不平衡资源。我们已经实现了基于 Linux 内核 3.10.87 的 COMEX，并部署在我们的 32 台联网服务器上。来自两个基准套件的十个应用程序的性能评估结果显示，当应用程序执行占用的空间比可用系统内存大 10 倍时，速度最多可提高 170 倍。还消除了数据中心中存在的不平衡资源。我们已经实现了基于 Linux 内核 3.10.87 的 COMEX，并部署在我们的 32 台联网服务器上。来自两个基准套件的十个应用程序的性能评估结果显示，当应用程序执行占用的空间比可用系统内存大 10 倍时，速度最多可提高 170 倍。还消除了数据中心中存在的不平衡资源。我们已经实现了基于 Linux 内核 3.10.87 的 COMEX，并部署在我们的 32 台联网服务器上。来自两个基准套件的十个应用程序的性能评估结果显示，当应用程序执行占用的空间比可用系统内存大 10 倍时，速度最多可提高 170 倍。