In this paper, we extend the classic MaxOut strategy, originally designed for Multiple Layer Preceptors (MLPs), into COnvolutional MaxOut (COMO) — a new strategy making deep convolutional neural networks wider with parameter efficiency. Compared to the existing solutions, such as ResNeXt for ResNet or Inception for VGG-alikes, COMO works well on both linear architectures and the ones with skipped connections and residual blocks. More specifically, COMO adopts a novel split-transformmerge paradigm that extends the layers with spatial resolution reduction into multiple parallel splits. For the layer with COMO, each split passes the input feature maps through a 4D convolution operator with independent batch normalization operators for transformation, then merge into the aggregated output of the original sizes through max-pooling. Such a strategy is expected to tackle the potential classification accuracy degradation due to the spatial resolution reduction, by incorporating the multiple splits and max-pooling-based feature selection. Our experiment using a wide range of deep architectures shows that COMO can significantly improve the classification accuracy of ResNet/VGGalike networks based on a large number of benchmark datasets. COMO further outperforms the existing solutions, e.g., Inceptions, ResNeXts, SE-ResNet, and Xception, that make networks wider, and it dominates in the comparison of accuracy versus parameter sizes.

中文翻译：

---

COMO：使用卷积 MaxOut 扩展深度神经网络

在本文中，我们将最初为多层感知器 (MLP) 设计的经典 MaxOut 策略扩展到卷积 MaxOut (COMO)——一种使深度卷积神经网络更宽且参数效率更高的新策略。与现有的解决方案（例如 ResNet 的 ResNeXt 或 VGG 类的 Inception）相比，COMO 在线性架构和具有跳过连接和残差块的架构上都能很好地工作。更具体地说，COMO 采用了一种新颖的 split-transformmerge 范式，将空间分辨率降低的层扩展为多个并行拆分。对于带有 COMO 的层，每个分割将输入特征图通过具有独立批量归一化算子的 4D 卷积算子进行转换，然后通过最大池化合并到原始大小的聚合输出中。通过结合多重分割和基于最大池化的特征选择，这种策略有望解决由于空间分辨率降低而导致的潜在分类精度下降问题。我们使用各种深度架构的实验表明，COMO 可以显着提高基于大量基准数据集的 ResNet/VGGalike 网络的分类精度。COMO 进一步优于现有解决方案，例如 Inceptions、ResNeXts、SE-ResNet 和 Xception，它们使网络更宽，并且在精度与参数大小的比较中占主导地位。我们使用各种深度架构的实验表明，COMO 可以显着提高基于大量基准数据集的 ResNet/VGGalike 网络的分类精度。COMO 进一步优于现有解决方案，例如 Inceptions、ResNeXts、SE-ResNet 和 Xception，它们使网络更宽，并且在精度与参数大小的比较中占主导地位。我们使用各种深度架构的实验表明，COMO 可以显着提高基于大量基准数据集的 ResNet/VGGalike 网络的分类精度。COMO 进一步优于现有解决方案，例如 Inceptions、ResNeXts、SE-ResNet 和 Xception，它们使网络更宽，并且在精度与参数大小的比较中占主导地位。