Self-Organizing Neural Networks (SONNs) have a wide range of applications with massive computational requirements that often need to be satisfied with optimized parallel algorithms and implementations. In literature, SONN have been generally parallelized with GPU computing according to a single-signal paradigm: each GPU thread manages one or more nodes of the network and works concurrently on one input signal at the time. This paper presents two contributions. The first one is the experimental proof that the single-signal approach for SONNs is not optimal for the task, as it is intrinsically sequential at its core and thus inherently limited in its performance. The non-optimality of the single-signal paradigm is illustrated via a specific and simplified benchmark. The second contribution is the introduction of a new multi-signal paradigm for the parallelization of SONNs, whereby multiple signals are processed at once in each iteration hence allowing different GPU threads to work on different signals. The advantages of the multi-signal approach are shown through several benchmarks involving the Self-Organizing Adaptive Map (SOAM) algorithm as a basis for evaluation. Having a graph-based termination condition that depends on the features of the network being grown, the SOAM algorithm allows assessing both functional equivalence and performances of the paradigm proposed without relying on arbitrary thresholds. Nonetheless, the evaluation proposed has a broader scope since it refers to a unified framework for the GPU parallelization of a generic SONN.

中文翻译：

---

可扩展的多信号方法，用于自组织神经网络的并行化。

自组织神经网络（SONN）具有广泛的应用程序，具有大量的计算需求，而优化的并行算法和实现通常需要满足这些需求。在文献中，通常根据单信号范例将SONN与GPU计算并行化：每个GPU线程管理一个或多个网络节点，并且同时处理一个输入信号。本文提出了两个贡献。第一个是实验证明，用于SONN的单信号方法并不是针对该任务的最佳选择，因为它在本质上是顺序的，因此在性能上也固有地受到限制。通过特定的简化基准测试来说明单信号范例的非最优性。第二个贡献是引入了一种新的多信号范例，用于SONN的并行化，从而在每次迭代中一次处理多个信号，从而允许不同的GPU线程处理不同的信号。通过涉及自组织自适应映射（SOAM）算法作为评估基础的几个基准，显示了多信号方法的优点。SOAM算法具有基于图的终止条件，该条件取决于正在增长的网络的特征，因此可以在不依赖于任意阈值的情况下评估所提出的范式的功能等效性和性能。但是，由于该评估是针对通用SONN的GPU并行化的统一框架，因此所提出的评估具有更广泛的范围。从而在每次迭代中一次处理多个信号，从而允许不同的GPU线程处理不同的信号。通过涉及自组织自适应映射（SOAM）算法作为评估基础的几个基准，显示了多信号方法的优点。SOAM算法具有基于图的终止条件，该条件取决于正在增长的网络的特征，因此可以在不依赖于任意阈值的情况下评估所提出的范式的功能等效性和性能。但是，由于该评估是针对通用SONN的GPU并行化的统一框架，因此所提出的评估具有更广泛的范围。从而在每次迭代中一次处理多个信号，从而允许不同的GPU线程处理不同的信号。通过涉及自组织自适应映射（SOAM）算法作为评估基础的几个基准，显示了多信号方法的优点。SOAM算法具有基于图的终止条件，该条件取决于正在增长的网络的特征，因此可以在不依赖于任意阈值的情况下评估所提出的范式的功能等效性和性能。但是，由于该评估是针对通用SONN的GPU并行化的统一框架，因此所提出的评估具有更广泛的范围。通过涉及自组织自适应映射（SOAM）算法作为评估基础的几个基准，显示了多信号方法的优点。SOAM算法具有基于图的终止条件，该条件取决于正在增长的网络的特征，因此可以在不依赖于任意阈值的情况下评估所提出的范式的功能等效性和性能。但是，由于该评估是针对通用SONN的GPU并行化的统一框架，因此所提出的评估具有更广泛的范围。通过涉及自组织自适应映射（SOAM）算法作为评估基础的几个基准，显示了多信号方法的优点。SOAM算法具有基于图的终止条件，该条件取决于正在增长的网络的特征，因此可以在不依赖于任意阈值的情况下评估所提出的范式的功能等效性和性能。但是，由于该评估是针对通用SONN的GPU并行化的统一框架，因此所提出的评估具有更广泛的范围。SOAM算法可在不依赖于任意阈值的情况下评估所提议范式的功能等效性和性能。但是，由于该评估是针对通用SONN的GPU并行化的统一框架，因此所提出的评估具有更广泛的范围。SOAM算法可以在不依赖于任意阈值的情况下评估所提议范式的功能等效性和性能。但是，由于该评估是针对通用SONN的GPU并行化的统一框架，因此所提出的评估具有更广泛的范围。