当前位置: X-MOL 学术Front. Marine Sci. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
SalaciaML: A Deep Learning Approach for Supporting Ocean Data Quality Control
Frontiers in Marine Science ( IF 3.7 ) Pub Date : 2021-03-10 , DOI: 10.3389/fmars.2021.611742
Sebastian Mieruch , Serdar Demirel , Simona Simoncelli , Reiner Schlitzer , Steffen Seitz

We present a skillful deep learning algorithm for supporting quality control of ocean temperature measurements, which we name SalaciaML according to Salacia the roman goddess of sea waters. Classical attempts to algorithmically support and partly automate the quality control of ocean data profiles are especially helpful for the gross errors in the data. Range filters, spike detection and data distribution checks remove reliably the outliers and errors in the data, still wrong classifications occur. Various automated quality control procedures have been successfully implemented within the main international and EU marine data infrastructures (WOD, CMEMS, IQuOD, SDN) but their resulting data products are still containing data anomalies, bad data flagged as good and vice-versa. They also include visual inspection of suspicious measurements, which is a time consuming activity, especially if the number of suspicious data detected is large. A deep learning approach could highly improve our capabilities to quality assess big data collections and contemporary reducing the human effort. Our algorithm SalaciaML is meant to complement classical automated quality control procedures in supporting the time consuming visually inspection of data anomalies by quality control experts. As a first approach we applied the algorithm to a large dataset from the Mediterranean Sea. SalaciaML has been able to detect correctly more than 90 % of all good and/or bad data in 11 out of 16 Mediterranean regions.

中文翻译:

SalaciaML:支持海洋数据质量控制的深度学习方法

我们提出了一种熟练的深度学习算法来支持海洋温度测量的质量控制,根据罗马的罗马女神Salacia,我们将其命名为SalaciaML。在算法上支持和部分自动化海洋数据资料质量控制的经典尝试对于数据中的严重错误特别有帮助。范围过滤器,峰值检测和数据分布检查可以可靠地消除数据中的异常值和错误,但仍会出现错误的分类。在主要的国际和欧盟海洋数据基础架构(WOD,CMEMS,IQuOD,SDN)中已成功实施了各种自动化质量控制程序,但它们产生的数据产品仍包含数据异常,不良数据标记为好,反之亦然。其中还包括对可疑测量的目视检查,这是一项耗时的活动,尤其是在检测到的可疑数据数量很大的情况下。深度学习方法可以大大提高我们对大数据收集进行质量评估的能力,并减少了人工工作。我们的算法SalaciaML旨在补充经典的自动化质量控制程序,以支持质量控制专家耗时的可视化数据异常检查。作为第一种方法,我们将算法应用于地中海的一个大型数据集。在16个地中海地区中的11个地区,SalaciaML能够正确检测出超过90%的所有好坏数据。深度学习方法可以大大提高我们对大数据收集进行质量评估的能力,并减少了人工工作。我们的算法SalaciaML旨在补充经典的自动化质量控制程序,以支持质量控制专家耗时的可视化数据异常检查。作为第一种方法,我们将算法应用于地中海的一个大型数据集。在16个地中海地区中的11个地区,SalaciaML能够正确检测出超过90%的所有好坏数据。深度学习方法可以大大提高我们对大数据收集进行质量评估的能力,并减少了人工工作。我们的算法SalaciaML旨在补充经典的自动化质量控制程序,以支持质量控制专家耗时的可视化数据异常检查。作为第一种方法,我们将算法应用于地中海的一个大型数据集。在16个地中海地区中的11个地区,SalaciaML能够正确检测出超过90%的所有好坏数据。作为第一种方法,我们将算法应用于地中海的一个大型数据集。在16个地中海地区中的11个地区,SalaciaML能够正确检测出超过90%的所有好坏数据。作为第一种方法,我们将算法应用于地中海的一个大型数据集。在16个地中海地区中的11个地区,SalaciaML能够正确检测出超过90%的所有好坏数据。
更新日期:2021-04-29
down
wechat
bug