Studies of microbiomes are booming, along with the diversity of computational approaches to make sense out of the sequencing data and the volumes of accumulated microbial genotypes. A swift evaluation of newly published methods and their improvements against established tools is necessary to reduce the time between the methods' release and their adoption in microbiome analyses. The LEMMI platform offers a novel approach for benchmarking software dedicated to metagenome composition assessments based on read classification. It enables the integration of newly published methods in an independent and centralized benchmark designed to be continuously open to new submissions. This allows developers to be proactive regarding comparative evaluations and guarantees that any promising methods can be assessed side by side with established tools quickly after their release. Moreover, LEMMI enforces an effective distribution through software containers to ensure long-term availability of all methods. Here, we detail the LEMMI workflow and discuss the performances of some previously unevaluated tools. We see this platform eventually as a community-driven effort in which method developers can showcase novel approaches and get unbiased benchmarks for publications, and users can make informed choices and obtain standardized and easy-to-use tools.

中文翻译：

---

LEMMI：宏基因组学分类器的连续基准测试平台。

微生物组的研究正在蓬勃发展，随着计算方法的多样性，从测序数据和积累的微生物基因型的数量中脱颖而出。有必要对新发布的方法及其对现有工具的改进进行快速评估，以缩短方法发布与微生物组分析采用之间的时间。LEMMI 平台为基于读取分类的宏基因组组成评估专用基准测试软件提供了一种新方法。它能够将新发布的方法集成到一个独立的集中式基准测试中，该基准测试旨在不断对新提交的提交开放。这使开发人员能够主动进行比较评估，并保证任何有前途的方法都可以在发布后迅速与已建立的工具一起进行评估。此外，LEMMI 通过软件容器强制执行有效分发，以确保所有方法的长期可用性。在这里，我们详细介绍了 LEMMI 工作流程并讨论了一些以前未评估的工具的性能。我们最终将这个平台视为社区驱动的努力，其中方法开发人员可以展示新颖的方法并获得出版物的公正基准，并且用户可以做出明智的选择并获得标准化且易于使用的工具。我们详细介绍了 LEMMI 工作流程，并讨论了一些以前未评估的工具的性能。我们最终将这个平台视为社区驱动的努力，其中方法开发人员可以展示新颖的方法并获得出版物的公正基准，并且用户可以做出明智的选择并获得标准化且易于使用的工具。我们详细介绍了 LEMMI 工作流程并讨论了一些以前未评估的工具的性能。我们最终将这个平台视为社区驱动的努力，其中方法开发人员可以展示新颖的方法并获得出版物的公正基准，并且用户可以做出明智的选择并获得标准化且易于使用的工具。