当前位置: X-MOL 学术Comput. Phys. Commun. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Data Sampling methods in the ALICE O2 distributed processing system
Computer Physics Communications ( IF 6.3 ) Pub Date : 2021-01-01 , DOI: 10.1016/j.cpc.2020.107581
Piotr Konopka , Barthélémy von Haller

Abstract The ALICE experiment at the CERN LHC focuses on studying the quark-gluon plasma produced by heavy-ion collisions. Starting from 2021, it will see its input data throughput increase a hundredfold, up to 3.5 TB/s. To cope with such a large amount of data, a new online-offline computing system, called O2, will be deployed. It will synchronously compress the data stream by a factor of 35 down to 100 GB/s before storing it permanently. One of the key software components of the system will be the data Quality Control (QC). This framework and infrastructure is responsible for all aspects related to the analysis software aimed at identifying possible issues with the data itself, and indirectly with the underlying processing done both synchronously and asynchronously. Since analyzing the full stream of data online would exceed the available computational resources, a reliable and efficient sampling will be needed. It should provide a few percent of data selected randomly in a statistically sound manner with a minimal impact on the main dataflow. Extra requirements include e.g. the option to choose data corresponding to the same collisions over a group of computing nodes. In this paper the design of the O2 Data Sampling software is presented. In particular, the requirements for pseudo-random number generators to be used for sampling decisions are highlighted, as well as the results of the benchmarks performed to evaluate different possibilities. Finally, a large scale test of the O2 Data Sampling is reported.

中文翻译:

ALICE O2分布式处理系统中的数据采样方法

摘要 CERN LHC ALICE 实验的重点是研究重离子碰撞产生的夸克-胶子等离子体。从 2021 年开始,它的输入数据吞吐量将增加一百倍,达到 3.5 TB/s。为应对如此海量的数据,将部署全新的线上线下计算系统O2。在永久存储数据流之前,它将同步压缩数据流 35 倍至 100 GB/s。该系统的关键软件组件之一将是数据质量控制 (QC)。该框架和基础设施负责与分析软件相关的所有方面,旨在识别数据本身可能存在的问题,并间接地与同步和异步完成的底层处理有关。由于在线分析完整的数据流将超出可用的计算资源,因此需要可靠且高效的采样。它应该提供以统计上合理的方式随机选择的百分之几的数据,而对主数据流的影响最小。额外的要求包括例如选择与一组计算节点上的相同冲突相对应的数据的选项。本文介绍了 O2 数据采样软件的设计。特别强调了用于抽样决策的伪随机数生成器的要求,以及为评估不同可能性而执行的基准测试的结果。最后,报告了 O2 数据采样的大规模测试。它应该提供以统计上合理的方式随机选择的百分之几的数据,而对主数据流的影响最小。额外的要求包括例如选择与一组计算节点上的相同冲突相对应的数据的选项。本文介绍了 O2 数据采样软件的设计。特别强调了用于抽样决策的伪随机数生成器的要求,以及为评估不同可能性而执行的基准测试的结果。最后,报告了 O2 数据采样的大规模测试。它应该提供以统计上合理的方式随机选择的百分之几的数据,而对主数据流的影响最小。额外的要求包括例如选择与一组计算节点上的相同冲突相对应的数据的选项。本文介绍了 O2 数据采样软件的设计。特别强调了用于抽样决策的伪随机数生成器的要求,以及为评估不同可能性而执行的基准测试的结果。最后,报告了 O2 数据采样的大规模测试。本文介绍了 O2 数据采样软件的设计。特别强调了用于抽样决策的伪随机数生成器的要求,以及为评估不同可能性而执行的基准测试的结果。最后,报告了 O2 数据采样的大规模测试。本文介绍了 O2 数据采样软件的设计。特别强调了用于抽样决策的伪随机数生成器的要求,以及为评估不同可能性而执行的基准测试的结果。最后,报告了 O2 数据采样的大规模测试。
更新日期:2021-01-01
down
wechat
bug