当前位置:
X-MOL 学术
›
arXiv.cs.MM
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
LIQA: Lifelong Blind Image Quality Assessment
arXiv - CS - Multimedia Pub Date : 2021-04-29 , DOI: arxiv-2104.14115 Jianzhao Liu, Wei Zhou, Jiahua Xu, Xin Li, Shukun An, Zhibo Chen
arXiv - CS - Multimedia Pub Date : 2021-04-29 , DOI: arxiv-2104.14115 Jianzhao Liu, Wei Zhou, Jiahua Xu, Xin Li, Shukun An, Zhibo Chen
Existing blind image quality assessment (BIQA) methods are mostly designed in
a disposable way and cannot evolve with unseen distortions adaptively, which
greatly limits the deployment and application of BIQA models in real-world
scenarios. To address this problem, we propose a novel Lifelong blind Image
Quality Assessment (LIQA) approach, targeting to achieve the lifelong learning
of BIQA. Without accessing to previous training data, our proposed LIQA can not
only learn new distortions, but also mitigate the catastrophic forgetting of
seen distortions. Specifically, we adopt the Split-and-Merge distillation
strategy to train a single-head network that makes task-agnostic predictions.
In the split stage, we first employ a distortion-specific generator to obtain
the pseudo features of each seen distortion. Then, we use an auxiliary
multi-head regression network to generate the predicted quality of each seen
distortion. In the merge stage, we replay the pseudo features paired with
pseudo labels to distill the knowledge of multiple heads, which can build the
final regressed single head. Experimental results demonstrate that the proposed
LIQA method can handle the continuous shifts of different distortion types and
even datasets. More importantly, our LIQA model can achieve stable performance
even if the task sequence is long.
中文翻译:
LIQA:终身盲图像质量评估
现有的盲图像质量评估(BIQA)方法大多以一次性方式设计,并且无法适应性地发展为看不见的失真,这极大地限制了BIQA模型在实际场景中的部署和应用。为了解决这个问题,我们提出了一种新颖的终身盲图像质量评估(LIQA)方法,旨在实现BIQA的终身学习。在不访问先前训练数据的情况下,我们提出的LIQA不仅可以学习新的失真,而且可以减轻看到的失真的灾难性遗忘。具体来说,我们采用拆分合并蒸馏策略来训练单头网络,该网络可以进行与任务无关的预测。在拆分阶段,我们首先使用失真特定的生成器来获取每个可见失真的伪特征。然后,我们使用辅助的多头回归网络来生成每个可见失真的预测质量。在合并阶段,我们重播与伪标签配对的伪特征以提取多头的知识,从而可以构建最终的回归单头。实验结果表明,所提出的LIQA方法可以处理不同失真类型甚至数据集的连续移位。更重要的是,即使任务序列很长,我们的LIQA模型也可以实现稳定的性能。实验结果表明,所提出的LIQA方法可以处理不同失真类型甚至数据集的连续移位。更重要的是,即使任务序列很长,我们的LIQA模型也可以实现稳定的性能。实验结果表明,所提出的LIQA方法可以处理不同失真类型甚至数据集的连续移位。更重要的是,即使任务序列很长,我们的LIQA模型也可以实现稳定的性能。
更新日期:2021-04-30
中文翻译:
LIQA:终身盲图像质量评估
现有的盲图像质量评估(BIQA)方法大多以一次性方式设计,并且无法适应性地发展为看不见的失真,这极大地限制了BIQA模型在实际场景中的部署和应用。为了解决这个问题,我们提出了一种新颖的终身盲图像质量评估(LIQA)方法,旨在实现BIQA的终身学习。在不访问先前训练数据的情况下,我们提出的LIQA不仅可以学习新的失真,而且可以减轻看到的失真的灾难性遗忘。具体来说,我们采用拆分合并蒸馏策略来训练单头网络,该网络可以进行与任务无关的预测。在拆分阶段,我们首先使用失真特定的生成器来获取每个可见失真的伪特征。然后,我们使用辅助的多头回归网络来生成每个可见失真的预测质量。在合并阶段,我们重播与伪标签配对的伪特征以提取多头的知识,从而可以构建最终的回归单头。实验结果表明,所提出的LIQA方法可以处理不同失真类型甚至数据集的连续移位。更重要的是,即使任务序列很长,我们的LIQA模型也可以实现稳定的性能。实验结果表明,所提出的LIQA方法可以处理不同失真类型甚至数据集的连续移位。更重要的是,即使任务序列很长,我们的LIQA模型也可以实现稳定的性能。实验结果表明,所提出的LIQA方法可以处理不同失真类型甚至数据集的连续移位。更重要的是,即使任务序列很长,我们的LIQA模型也可以实现稳定的性能。