Stream processing systems are increasingly becoming a core element in the data processing stack of many large companies, where they complement data management frameworks to build comprehensive solutions for processing, storage, and query. The adoption of separate tools leads to complex architectures that leave developers with the difficult task of writing application-specific code that ensures integration correctness. This hinders design, implementation, maintenance, and evolution. We address this problem with a new model that seamlessly integrates data management capabilities within a distributed stream processor. The model makes the state of stream processing operators externally visible and queryable, providing transactional guarantees for state accesses and updates. It enables developers to configure transactions obtaining strong guarantees when needed and relaxing them for higher performance when possible. We introduce the new model and formalize the transactional guarantees it offers. We discuss the implementation of the model into the TSpoon tool and experiment different algorithms to enforce transactional behavior. We evaluate the performance of TSpoon with real world case studies and synthetic workloads, compare it with state-of-the-art tools for distributed in-memory stream processing and data management, and analyze in detail the cost to ensure various transactional semantics.

流处理系统正日益成为许多大公司数据处理堆栈中的核心元素，它们在此补充数据管​​理框架，以构建用于处理，存储和查询的综合解决方案。采用单独的工具会导致复杂的体系结构，使开发人员难以编写确保集成正确性的特定于应用程序的代码。这阻碍了设计，实施，维护和发展。我们使用一种新模型解决了这个问题，该模型将数据管理功能无缝集成在分布式流处理器中。该模型使流处理运算符的状态在外部可见和可查询，从而为状态访问和更新提供事务保证。它使开发人员能够配置事务以在需要时获得有力的保证，并在可能的情况下放宽它们以提高性能。我们介绍了新模型并正式确定了它提供的交易担保。我们讨论了TSpoon工具中模型的实现，并尝试了不同的算法来强制执行交易行为。我们通过实际案例研究和综合工作负载评估TSpoon的性能，将其与用于分布式内存流处理和数据管理的最新工具进行比较，并详细分析成本以确保各种事务语义。我们讨论了TSpoon工具中模型的实现，并尝试了不同的算法来强制执行交易行为。我们通过实际案例研究和综合工作负载评估TSpoon的性能，将其与用于分布式内存流处理和数据管理的最新工具进行比较，并详细分析成本以确保各种事务语义。我们讨论了TSpoon工具中模型的实现，并尝试了不同的算法来强制执行交易行为。我们通过实际案例研究和综合工作负载评估TSpoon的性能，将其与用于分布式内存流处理和数据管理的最新工具进行比较，并详细分析成本以确保各种事务语义。