Data science and artificial intelligence are driven by a plethora of diverse data-related assets, including datasets, data streams, algorithms, processing software, compute resources, and domain knowledge. As providing all these assets requires a huge investment, data science and artificial intelligence technologies are currently dominated by a small number of providers who can afford these investments. This leads to lock-in effects and hinders features that require a flexible exchange of assets among users. In this paper, we introduce Agora, our vision towards a unified ecosystem that brings together data, algorithms, models, and computational resources and provides them to a broad audience. Agora (i) treats assets as first-class citizens and leverages a fine-grained exchange of assets, (ii) allows for combining assets to novel applications, and (iii) flexibly executes such applications on available resources. As a result, it enables easy creation and composition of data science pipelines as well as their scalable execution. In contrast to existing data management systems, Agora operates in a heavily decentralized and dynamic environment: Data, algorithms, and even compute resources are dynamically created, modified, and removed by different stakeholders. Agora presents novel research directions for the data management community as a whole: It requires to combine our traditional expertise in scalable data processing and management with infrastructure provisioning as well as economic and application aspects of data, algorithms, and infrastructure.

中文翻译：

---

集市

数据科学和人工智能由大量不同的数据相关资产驱动，包括数据集、数据流、算法、处理软件、计算资源和领域知识。由于提供所有这些资产需要巨额投资，数据科学和人工智能技术目前由少数能够负担这些投资的供应商主导。这会导致锁定效应并阻碍需要在用户之间灵活交换资产的功能。在本文中，我们介绍了 Agora，我们对统一生态系统的愿景，该生态系统将数据、算法、模型和计算资源结合在一起，并将其提供给广大受众。Agora (i) 将资产视为一等公民，并利用细粒度的资产交换，(ii) 允许将资产组合到新的应用程序中，(iii) 在可用资源上灵活执行此类应用程序。因此，它可以轻松创建和组合数据科学管道以及它们的可扩展执行。与现有的数据管理系统相比，Agora 在高度分散和动态的环境中运行：数据、算法甚至计算资源由不同的利益相关者动态创建、修改和删除。Agora 为整个数据管理社区提出了新的研究方向：它需要将我们在可扩展数据处理和管理方面的传统专业知识与基础设施供应以及数据、算法和基础设施的经济和应用方面相结合。它可以轻松创建和组合数据科学管道以及它们的可扩展执行。与现有的数据管理系统相比，Agora 在高度分散和动态的环境中运行：数据、算法甚至计算资源由不同的利益相关者动态创建、修改和删除。Agora 为整个数据管理社区提出了新的研究方向：它需要将我们在可扩展数据处理和管理方面的传统专业知识与基础设施供应以及数据、算法和基础设施的经济和应用方面相结合。它可以轻松创建和组合数据科学管道以及它们的可扩展执行。与现有的数据管理系统相比，Agora 在高度分散和动态的环境中运行：数据、算法甚至计算资源由不同的利益相关者动态创建、修改和删除。Agora 为整个数据管理社区提出了新的研究方向：它需要将我们在可扩展数据处理和管理方面的传统专业知识与基础设施供应以及数据、算法和基础设施的经济和应用方面相结合。甚至计算资源也是由不同的利益相关者动态创建、修改和删除的。Agora 为整个数据管理社区提出了新的研究方向：它需要将我们在可扩展数据处理和管理方面的传统专业知识与基础设施供应以及数据、算法和基础设施的经济和应用方面相结合。甚至计算资源也是由不同的利益相关者动态创建、修改和删除的。Agora 为整个数据管理社区提出了新的研究方向：它需要将我们在可扩展数据处理和管理方面的传统专业知识与基础设施供应以及数据、算法和基础设施的经济和应用方面相结合。