Transparent objects are a very challenging problem in computer vision. They are hard to segment or classify due to their lack of precise boundaries, and there is limited data available for training deep neural networks. As such, current solutions for this problem employ rigid synthetic datasets, which lack flexibility and lead to severe performance degradation when deployed on real-world scenarios. In particular, these synthetic datasets omit features such as refraction, dispersion and caustics due to limitations in the rendering pipeline. To address this issue, we present SuperCaustics, a real-time, open-source simulation of transparent objects designed for deep learning applications. SuperCaustics features extensive modules for stochastic environment creation; uses hardware ray-tracing to support caustics, dispersion, and refraction; and enables generating massive datasets with multi-modal, pixel-perfect ground truth annotations. To validate our proposed system, we trained a deep neural network from scratch to segment transparent objects in difficult lighting scenarios. Our neural network achieved performance comparable to the state-of-the-art on a real-world dataset using only 10% of the training data and in a fraction of the training time. Further experiments show that a model trained with SuperCaustics can segment different types of caustics, even in images with multiple overlapping transparent objects. To the best of our knowledge, this is the first such result for a model trained on synthetic data. Both our open-source code and experimental data are freely available online.

中文翻译：

---

SuperCaustics：用于深度学习应用程序的透明对象的实时、开源模拟

透明物体是计算机视觉中一个非常具有挑战性的问题。由于缺乏精确的边界，它们很难分割或分类，并且可用于训练深度神经网络的数据有限。因此，当前针对此问题的解决方案采用刚性合成数据集，缺乏灵活性并在部署到实际场景中时会导致严重的性能下降。特别是，由于渲染管道的限制，这些合成数据集省略了折射、色散和焦散等特征。为了解决这个问题，我们提出了 SuperCaustics，这是一种针对深度学习应用程序设计的透明对象的实时开源模拟。SuperCaustics 具有用于随机环境创建的广泛模块；使用硬件光线追踪来支持焦散、色散和折射；并能够生成具有多模态、像素完美的地面实况注释的海量数据集。为了验证我们提出的系统，我们从头开始训练一个深度神经网络，以在困难的照明场景中分割透明物体。我们的神经网络在仅使用 10% 的训练数据和一小部分训练时间的真实世界数据集上实现了与最先进技术相当的性能。进一步的实验表明，使用 SuperCaustics 训练的模型可以分割不同类型的焦散，即使在具有多个重叠透明对象的图像中也是如此。据我们所知，这是在合成数据上训练的模型的第一个这样的结果。我们的开源代码和实验数据都可以在线免费获得。为了验证我们提出的系统，我们从头开始训练一个深度神经网络，以在困难的照明场景中分割透明物体。我们的神经网络在仅使用 10% 的训练数据和一小部分训练时间的真实世界数据集上实现了与最先进技术相当的性能。进一步的实验表明，使用 SuperCaustics 训练的模型可以分割不同类型的焦散，即使在具有多个重叠透明对象的图像中也是如此。据我们所知，这是在合成数据上训练的模型的第一个这样的结果。我们的开源代码和实验数据都可以在线免费获得。为了验证我们提出的系统，我们从头开始训练一个深度神经网络，以在困难的照明场景中分割透明物体。我们的神经网络在仅使用 10% 的训练数据和一小部分训练时间的真实世界数据集上实现了与最先进技术相当的性能。进一步的实验表明，使用 SuperCaustics 训练的模型可以分割不同类型的焦散，即使在具有多个重叠透明对象的图像中也是如此。据我们所知，这是在合成数据上训练的模型的第一个这样的结果。我们的开源代码和实验数据都可以在线免费获得。我们的神经网络在仅使用 10% 的训练数据和一小部分训练时间的真实世界数据集上实现了与最先进技术相当的性能。进一步的实验表明，使用 SuperCaustics 训练的模型可以分割不同类型的焦散，即使在具有多个重叠透明对象的图像中也是如此。据我们所知，这是在合成数据上训练的模型的第一个这样的结果。我们的开源代码和实验数据都可以在线免费获得。我们的神经网络在仅使用 10% 的训练数据和一小部分训练时间的真实世界数据集上实现了与最先进技术相当的性能。进一步的实验表明，使用 SuperCaustics 训练的模型可以分割不同类型的焦散，即使在具有多个重叠透明对象的图像中也是如此。据我们所知，这是在合成数据上训练的模型的第一个这样的结果。我们的开源代码和实验数据都可以在线免费获得。这是在合成数据上训练的模型的第一个这样的结果。我们的开源代码和实验数据都可以在线免费获得。这是在合成数据上训练的模型的第一个这样的结果。我们的开源代码和实验数据都可以在线免费获得。