This paper formulates a distributed computation problem, where a master asks $N$ distributed workers to compute a linearly separable function. The task function can be expressed as $K_c$ linear combinations to $K$ messages, where each message is a function of one dataset. Our objective is to find the optimal tradeoff between the computation cost (number of datasets assigned to each worker) and the communication cost (number of symbols the master should download), such that from the answers of any $N_r$ out of $N$ workers the master can recover the task function. The formulated problem can be seen as the generalized version of some existing problems, such as distributed gradient descent and distributed linear transform. In this paper, we consider the specific case where the computation cost is minimum, and propose novel converse and achievable bounds on the optimal communication cost. The proposed bounds coincide for some system parameters; when they do not match, we prove that the achievable distributed computing scheme is optimal under the constraint of a widely used `cyclic assignment' on the datasets. Our results also show that when $K = N$, with the same communication cost as the optimal distributed gradient descent coding scheme propose by Tandon et al. from which the master recovers one linear combination of $K$ messages, our proposed scheme can let the master recover any additional $N_r -1$ independent linear combinations of messages with high probability.

中文翻译：

---

分布式线性可分计算

这篇论文提出了一个分布式计算问题，其中一个 master 要求 $N$ 个分布式工人计算一个线性可分函数。任务函数可以表示为 $K_c$ 对 $K$ 消息的线性组合，其中每条消息都是一个数据集的函数。我们的目标是找到计算成本（分配给每个工人的数据集数量）和通信成本（主节点应该下载的符号数量）之间的最佳权衡，以便从 $N_r$ 中的任何 $N_r$ 的答案工人主人可以恢复任务功能。公式化的问题可以看作是一些现有问题的泛化版本，例如分布式梯度下降和分布式线性变换。在本文中，我们考虑计算成本最小的特定情况，并提出了最优通信成本的新的反向和可实现的界限。对于某些系统参数，建议的界限是一致的；当它们不匹配时，我们证明可实现的分布式计算方案在数据集上广泛使用的“循环分配”的约束下是最优的。我们的结果还表明，当 $K = N$ 时，通信成本与 Tandon 等人提出的最优分布式梯度下降编码方案相同。从中主节点恢复 $K$ 消息的一个线性组合，我们提出的方案可以让主节点以高概率恢复任何额外的 $N_r -1$ 独立消息线性组合。我们证明了可实现的分布式计算方案在数据集上广泛使用的“循环分配”的约束下是最优的。我们的结果还表明，当 $K = N$ 时，通信成本与 Tandon 等人提出的最优分布式梯度下降编码方案相同。从中主节点恢复 $K$ 消息的一个线性组合，我们提出的方案可以让主节点以高概率恢复任何额外的 $N_r -1$ 独立消息线性组合。我们证明了可实现的分布式计算方案在数据集上广泛使用的“循环分配”的约束下是最优的。我们的结果还表明，当 $K = N$ 时，通信成本与 Tandon 等人提出的最优分布式梯度下降编码方案相同。从中主节点恢复 $K$ 消息的一个线性组合，我们提出的方案可以让主节点以高概率恢复任何额外的 $N_r -1$ 独立消息线性组合。