当前位置:
X-MOL 学术
›
arXiv.cs.CV
›
论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
ADeLA: Automatic Dense Labeling with Attention for Viewpoint Adaptation in Semantic Segmentation
arXiv - CS - Computer Vision and Pattern Recognition Pub Date : 2021-07-29 , DOI: arxiv-2107.14285 Yanchao Yang, Hanxiang Ren, He Wang, Bokui Shen, Qingnan Fan, Youyi Zheng, C. Karen Liu, Leonidas Guibas
arXiv - CS - Computer Vision and Pattern Recognition Pub Date : 2021-07-29 , DOI: arxiv-2107.14285 Yanchao Yang, Hanxiang Ren, He Wang, Bokui Shen, Qingnan Fan, Youyi Zheng, C. Karen Liu, Leonidas Guibas
We describe an unsupervised domain adaptation method for image content shift
caused by viewpoint changes for a semantic segmentation task. Most existing
methods perform domain alignment in a shared space and assume that the mapping
from the aligned space to the output is transferable. However, the novel
content induced by viewpoint changes may nullify such a space for effective
alignments, thus resulting in negative adaptation. Our method works without
aligning any statistics of the images between the two domains. Instead, it
utilizes a view transformation network trained only on color images to
hallucinate the semantic images for the target. Despite the lack of
supervision, the view transformation network can still generalize to semantic
images thanks to the inductive bias introduced by the attention mechanism.
Furthermore, to resolve ambiguities in converting the semantic images to
semantic labels, we treat the view transformation network as a functional
representation of an unknown mapping implied by the color images and propose
functional label hallucination to generate pseudo-labels in the target domain.
Our method surpasses baselines built on state-of-the-art correspondence
estimation and view synthesis methods. Moreover, it outperforms the
state-of-the-art unsupervised domain adaptation methods that utilize
self-training and adversarial domain alignment. Our code and dataset will be
made publicly available.
中文翻译:
ADeLA:语义分割中带有注意力的自动密集标记,用于视点适应
我们描述了一种无监督的域适应方法,用于语义分割任务的视点变化引起的图像内容偏移。大多数现有方法在共享空间中执行域对齐,并假设从对齐空间到输出的映射是可转移的。然而,由视点变化引起的新内容可能会使这种有效对齐的空间无效,从而导致负面适应。我们的方法无需对齐两个域之间的任何图像统计数据即可工作。相反,它利用仅在彩色图像上训练的视图转换网络来幻化目标的语义图像。尽管缺乏监督,由于注意力机制引入的归纳偏差,视图转换网络仍然可以推广到语义图像。此外,为了解决将语义图像转换为语义标签时的歧义,我们将视图转换网络视为彩色图像隐含的未知映射的功能表示,并提出功能标签幻觉以在目标域中生成伪标签。我们的方法超越了建立在最先进的对应估计和视图合成方法上的基线。此外,它优于利用自我训练和对抗性域对齐的最先进的无监督域适应方法。我们的代码和数据集将公开提供。我们将视图转换网络视为彩色图像隐含的未知映射的功能表示,并提出功能标签幻觉以在目标域中生成伪标签。我们的方法超越了建立在最先进的对应估计和视图合成方法上的基线。此外,它优于利用自我训练和对抗性域对齐的最先进的无监督域适应方法。我们的代码和数据集将公开提供。我们将视图转换网络视为彩色图像隐含的未知映射的功能表示,并提出功能标签幻觉以在目标域中生成伪标签。我们的方法超越了建立在最先进的对应估计和视图合成方法上的基线。此外,它优于利用自我训练和对抗性域对齐的最先进的无监督域适应方法。我们的代码和数据集将公开提供。
更新日期:2021-08-02
中文翻译:
ADeLA:语义分割中带有注意力的自动密集标记,用于视点适应
我们描述了一种无监督的域适应方法,用于语义分割任务的视点变化引起的图像内容偏移。大多数现有方法在共享空间中执行域对齐,并假设从对齐空间到输出的映射是可转移的。然而,由视点变化引起的新内容可能会使这种有效对齐的空间无效,从而导致负面适应。我们的方法无需对齐两个域之间的任何图像统计数据即可工作。相反,它利用仅在彩色图像上训练的视图转换网络来幻化目标的语义图像。尽管缺乏监督,由于注意力机制引入的归纳偏差,视图转换网络仍然可以推广到语义图像。此外,为了解决将语义图像转换为语义标签时的歧义,我们将视图转换网络视为彩色图像隐含的未知映射的功能表示,并提出功能标签幻觉以在目标域中生成伪标签。我们的方法超越了建立在最先进的对应估计和视图合成方法上的基线。此外,它优于利用自我训练和对抗性域对齐的最先进的无监督域适应方法。我们的代码和数据集将公开提供。我们将视图转换网络视为彩色图像隐含的未知映射的功能表示,并提出功能标签幻觉以在目标域中生成伪标签。我们的方法超越了建立在最先进的对应估计和视图合成方法上的基线。此外,它优于利用自我训练和对抗性域对齐的最先进的无监督域适应方法。我们的代码和数据集将公开提供。我们将视图转换网络视为彩色图像隐含的未知映射的功能表示,并提出功能标签幻觉以在目标域中生成伪标签。我们的方法超越了建立在最先进的对应估计和视图合成方法上的基线。此外,它优于利用自我训练和对抗性域对齐的最先进的无监督域适应方法。我们的代码和数据集将公开提供。