An effective perception system is a fundamental component for farming robots, as it enables them to properly perceive the surrounding environment and to carry out targeted operations. The most recent approaches make use of state-of-the-art machine learning techniques to learn an effective model for the target task. However, those methods need a large amount of labelled data for training. A recent approach to deal with this issue is data augmentation through Generative Adversarial Networks (GANs), where entire synthetic scenes are added to the training data, thus enlarging and diversifying their informative content. In this work, we propose an alternative solution with respect to the common data augmentation techniques, applying it to the fundamental problem of crop/weed segmentation in precision farming. Starting from real images, we create semi-artificial samples by replacing the most relevant object classes (i.e., crop and weeds) with their synthesized counterparts. To do that, we employ a conditional GAN (cGAN), where the generative model is trained by conditioning the shape of the generated object. Moreover, in addition to RGB data, we take into account also near-infrared (NIR) information, generating four channel multi-spectral synthetic images. Quantitative experiments, carried out on three publicly available datasets, show that (i) our model is capable of generating realistic multi-spectral images of plants and (ii) the usage of such synthetic images in the training process improves the segmentation performance of state-of-the-art semantic segmentation Convolutional Networks.

中文翻译：

---

精准农业作物/杂草分割的多光谱图像合成

一个有效的感知系统是农业机器人的基本组成部分，因为它使它们能够正确感知周围环境并进行有针对性的操作。最近的方法利用最先进的机器学习技术来学习目标任务的有效模型。然而，这些方法需要大量标记数据进行训练。最近处理这个问题的一种方法是通过生成对抗网络 (GAN) 进行数据增强，其中将整个合成场景添加到训练数据中，从而扩大和多样化其信息内容。在这项工作中，我们针对常见的数据增强技术提出了一种替代解决方案，将其应用于精准农业中作物/杂草分割的基本问题。从实拍开始，我们通过用合成的对应物替换最相关的对象类（即作物和杂草）来创建半人工样本。为此，我们采用了条件 GAN (cGAN)，其中通过调节生成对象的形状来训练生成模型。此外，除了 RGB 数据，我们还考虑了近红外 (NIR) 信息，生成了四通道多光谱合成图像。在三个公开可用的数据集上进行的定量实验表明（i）我们的模型能够生成逼真的植物多光谱图像，以及（ii）在训练过程中使用此类合成图像提高了状态的分割性能-最先进的语义分割卷积网络。作物和杂草）及其合成对应物。为此，我们采用了条件 GAN (cGAN)，其中通过调节生成对象的形状来训练生成模型。此外，除了 RGB 数据，我们还考虑了近红外 (NIR) 信息，生成了四通道多光谱合成图像。在三个公开可用的数据集上进行的定量实验表明（i）我们的模型能够生成逼真的植物多光谱图像，以及（ii）在训练过程中使用此类合成图像提高了状态的分割性能-最先进的语义分割卷积网络。作物和杂草）及其合成对应物。为此，我们采用了条件 GAN (cGAN)，其中通过调节生成对象的形状来训练生成模型。此外，除了 RGB 数据，我们还考虑了近红外 (NIR) 信息，生成了四通道多光谱合成图像。在三个公开可用的数据集上进行的定量实验表明（i）我们的模型能够生成逼真的植物多光谱图像，以及（ii）在训练过程中使用此类合成图像提高了状态的分割性能-最先进的语义分割卷积网络。除了 RGB 数据，我们还考虑了近红外 (NIR) 信息，生成四通道多光谱合成图像。在三个公开可用的数据集上进行的定量实验表明（i）我们的模型能够生成逼真的植物多光谱图像，以及（ii）在训练过程中使用此类合成图像提高了状态的分割性能-最先进的语义分割卷积网络。除了 RGB 数据，我们还考虑了近红外 (NIR) 信息，生成四通道多光谱合成图像。在三个公开可用的数据集上进行的定量实验表明（i）我们的模型能够生成逼真的植物多光谱图像，以及（ii）在训练过程中使用此类合成图像提高了状态的分割性能-最先进的语义分割卷积网络。