Processing large images in real time requires effective image processing algorithms as well as efficient software design and implementation to take full advantage of all CPU cores and GPU resources on state of the art CPU/GPU platforms. Efficiently coordinating computations on both the host (CPU) and devices (GPUs), along with host–device data transfers is critical to achieving real-time performance. However, such coordination is challenging for system designers given the complexity of modern image processing applications and the targeted processing platforms. In this paper, we present a novel model-based design tool that automates and optimizes these critical design decisions for real-time image processing implementation. The proposed tool consists of a compile-time static analyzer and a run-time dynamic scheduler. The tool automates the process of scheduling dataflow tasks (actors) and coordinating CPU–GPU data transfers in an integrated manner. The approach uses an unfolded dataflow graph representation of the application along with thread-pool-based executors, which are optimized for efficient operation on the targeted CPU–GPU platform. This approach automates the most complicated aspects of the design and implementation process for image processing system designers, while maximizing the utilization of computational power, reducing the memory footprint for both the CPU and GPU, and facilitating experimentation for tuning performance-oriented designs.

实时处理大图像需要有效的图像处理算法以及有效的软件设计和实现，才能充分利用最新CPU / GPU平台上的所有CPU内核和GPU资源。有效协调主机（CPU）和设备（GPU）上的计算以及主机设备数据传输对于实现实时性能至关重要。但是，鉴于现代图像处理应用程序和目标处理平台的复杂性，这种协调对于系统设计人员而言是挑战性的。在本文中，我们提出了一种新颖的基于模型的设计工具，该工具可以自动化和优化这些关键设计决策，以实现实时图像处理。所建议的工具包括一个编译时静态分析器和一个运行时动态调度程序。该工具以集成的方式使调度数据流任务（参与者）和协调CPU-GPU数据传输的过程自动化。该方法使用应用程序的展开数据流图表示以及基于线程池的执行器，这些执行器已针对在目标CPU-GPU平台上的有效操作进行了优化。这种方法可自动执行图像处理系统设计人员设计和实现过程中最复杂的方面，同时最大程度地利用计算能力，减少CPU和GPU的内存占用，并促进针对性能导向设计的实验。该方法使用应用程序的展开数据流图表示以及基于线程池的执行器，这些执行器已针对在目标CPU-GPU平台上的有效操作进行了优化。这种方法可自动执行图像处理系统设计人员设计和实现过程中最复杂的方面，同时最大程度地利用计算能力，减少CPU和GPU的内存占用，并促进针对性能导向设计的实验。该方法使用应用程序的展开数据流图表示以及基于线程池的执行器，这些执行器已针对在目标CPU-GPU平台上的有效操作进行了优化。这种方法可自动执行图像处理系统设计人员设计和实现过程中最复杂的方面，同时最大程度地利用计算能力，减少CPU和GPU的内存占用，并促进针对性能导向设计的实验。