Abstract High efficiency video coding (HEVC) greatly outperforms previous standards H.264/AVC in terms of coding bit rate and video quality. However, it does not take into account the human visual system (HVS), that people pay more attention to specific areas and moving objects. In this paper, we present a content-aware rate control scheme for HEVC based on static and dynamic saliency detection. The proposed strategy mainly consists of three techniques, static saliency detection, dynamic saliency detection, and adaptive bit rate allocation. Firstly, we train a deep convolution network (DCN) model to extract the static saliency map by highlighting semantically salient regions. Compared to traditional texture-based or color-based region of interest (ROI) extraction techniques, our models are more in line with the HVS. Secondly, we develop a moving object segmentation technique to automatically extract the dynamic salient regions for each frame. Furthermore, according to the fusion saliency map, a coding tree unit (CTU) level bit control technique is exploited to realize flexible and adaptive bit rate allocation. As a result, the quality of salient regions is improved by allocating more bits, while allocating fewer bits to the non-salient regions. We verified the proposed method on both the JCT-VC recommended data set and eye-tracking data set. Experiment results show that the PSNR of salient regions can improve by an average of 1.85 dB without adding bit rate burden, which significantly improves the visual experience.

中文翻译：

---

基于静态和动态显着性检测的HEVC内容感知速率控制方案

摘要 高效视频编码（HEVC）在编码比特率和视频质量方面大大优于以前的标准 H.264/AVC。然而，它没有考虑到人类视觉系统（HVS），人们更关注特定区域和运动物体。在本文中，我们提出了一种基于静态和动态显着性检测的 HEVC 内容感知速率控制方案。所提出的策略主要包括三种技术，静态显着性检测、动态显着性检测和自适应比特率分配。首先，我们训练一个深度卷积网络（DCN）模型通过突出语义显着区域来提取静态显着图。与传统的基于纹理或基于颜色的感兴趣区域 (ROI) 提取技术相比，我们的模型更符合 HVS。第二，我们开发了一种运动对象分割技术来自动提取每一帧的动态显着区域。此外，根据融合显着图，利用编码树单元（CTU）级比特控制技术实现灵活自适应的比特率分配。结果，通过分配更多位来提高显着区域的质量，同时向非显着区域分配更少的位。我们在 JCT-VC 推荐数据集和眼动追踪数据集上验证了所提出的方法。实验结果表明，在不增加码率负担的情况下，显着区域的PSNR平均可提高1.85 dB，显着提升了视觉体验。利用编码树单元（CTU）级比特控制技术实现灵活自适应的比特率分配。结果，通过分配更多位来提高显着区域的质量，同时向非显着区域分配更少的位。我们在 JCT-VC 推荐数据集和眼动追踪数据集上验证了所提出的方法。实验结果表明，在不增加码率负担的情况下，显着区域的PSNR平均可提高1.85 dB，显着提升了视觉体验。利用编码树单元（CTU）级比特控制技术实现灵活自适应的比特率分配。结果，通过分配更多位来提高显着区域的质量，同时向非显着区域分配更少的位。我们在 JCT-VC 推荐数据集和眼动追踪数据集上验证了所提出的方法。实验结果表明，在不增加码率负担的情况下，显着区域的PSNR平均可提高1.85 dB，显着提升了视觉体验。我们在 JCT-VC 推荐数据集和眼动追踪数据集上验证了所提出的方法。实验结果表明，在不增加码率负担的情况下，显着区域的PSNR平均可提高1.85 dB，显着提升了视觉体验。我们在 JCT-VC 推荐数据集和眼动追踪数据集上验证了所提出的方法。实验结果表明，在不增加码率负担的情况下，显着区域的PSNR平均可提高1.85 dB，显着提升了视觉体验。