Object detection is one of the core tasks in computer vision. Object detection algorithms often have difficulty detecting objects with diverse scales, especially those with smaller scales. To cope with this issue, Lin et al. proposed feature pyramid networks (FPNs), which aim for a feature pyramid with higher semantic content at every scale level. The FPN consists of a bottom-up pyramid and a top-down pyramid. The bottom-up pyramid is induced by a convolutional neural network as its layers of feature maps. The top-down pyramid is formed by progressive up-sampling of a highly semantic yet low-resolution feature map at the top of the bottom-up pyramid. At each up-sampling step, feature maps of the bottom-up pyramid are fused with the top-down pyramid to produce highly semantic yet high-resolution feature maps in the top-down pyramid. Despite significant improvement, the FPN still misses small-scale objects. To further improve the detection of small-scale objects, this paper proposes scale adaptive feature pyramid networks (SAFPNs). The SAFPN employs weights chosen adaptively to each input image in fusing feature maps of the bottom-up pyramid and top-down pyramid. Scale adaptive weights are computed by using a scale attention module built into the feature map fusion computation. The scale attention module is trained end-to-end to adapt to the scale of objects contained in images of the training dataset. Experimental evaluation, using both the 2-stage detector faster R-CNN and 1-stage detector RetinaNet, demonstrated the proposed approach’s effectiveness.

中文翻译：

---

用于2D对象检测的比例自适应特征金字塔网络

对象检测是计算机视觉中的核心任务之一。对象检测算法通常难以检测到不同尺度的对象，尤其是那些较小尺度的对象。为了解决这个问题，Lin等人。提出的特征金字塔网络（FPN），其目标是在每个尺度级别上具有更高语义内容的特征金字塔。FPN由自下而上的金字塔和自上而下的金字塔组成。自下而上的金字塔是由卷积神经网络作为其特征图的层而产生的。自上而下的金字塔是通过在自下而上的金字塔的顶部对高度语义化但分辨率较低的特征图进行逐步上采样而形成的。在每个上采样步骤中，将自下而上的金字塔的特征图与自上而下的金字塔融合在一起，以在自上而下的金字塔中生成高度语义且高分辨率的特征图。尽管有了重大改进，FPN仍会遗漏小型物体。为了进一步提高对小尺度目标的检测能力，提出了尺度自适应特征金字塔网络（SAFPN）。SAFPN在自下而上的金字塔和自上而下的金字塔的特征图融合中采用为每个输入图像自适应选择的权重。通过使用内置在特征图融合计算中的比例尺注意模块来计算比例尺自适应权重。规模注意模块进行了端到端的培训，以适应培训数据集图像中包含的对象的规模。通过使用2级检测器更快的R-CNN和1级检测器RetinaNet进行的实验评估证明了该方法的有效性。本文提出了尺度自适应特征金字塔网络（SAFPN）。SAFPN在自下而上的金字塔和自上而下的金字塔的特征图融合中采用为每个输入图像自适应选择的权重。通过使用内置在特征图融合计算中的比例尺注意模块来计算比例尺自适应权重。规模注意模块进行了端到端的培训，以适应培训数据集图像中包含的对象的规模。通过同时使用2级检测器R-CNN和1级检测器RetinaNet进行的实验评估证明了该方法的有效性。本文提出了尺度自适应特征金字塔网络（SAFPN）。SAFPN在自下而上的金字塔和自上而下的金字塔的特征图融合中采用为每个输入图像自适应选择的权重。通过使用内置在特征图融合计算中的比例尺注意模块来计算比例尺自适应权重。规模注意模块进行了端到端的培训，以适应培训数据集图像中包含的对象的规模。通过使用2级检测器更快的R-CNN和1级检测器RetinaNet进行的实验评估证明了该方法的有效性。通过使用内置在特征图融合计算中的比例尺注意模块来计算比例尺自适应权重。规模注意模块进行了端到端的培训，以适应培训数据集图像中包含的对象的规模。通过使用2级检测器更快的R-CNN和1级检测器RetinaNet进行的实验评估证明了该方法的有效性。通过使用内置在特征图融合计算中的比例尺注意模块来计算比例尺自适应权重。规模注意模块进行了端到端的培训，以适应培训数据集图像中包含的对象的规模。通过使用2级检测器更快的R-CNN和1级检测器RetinaNet进行的实验评估证明了该方法的有效性。