当前位置: X-MOL 学术Neurocomputing › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
MonuMAI: Dataset, deep learning pipeline and citizen science based app for monumental heritage taxonomy and classification
Neurocomputing ( IF 5.5 ) Pub Date : 2020-09-30 , DOI: 10.1016/j.neucom.2020.09.041
Alberto Lamas , Siham Tabik , Policarpo Cruz , Rosana Montes , Álvaro Martínez-Sevilla , Teresa Cruz , Francisco Herrera

An important part of art history can be discovered through the visual information in monument facades. However, the analysis of this visual information, i.e, morphology and architectural elements, requires high expert knowledge. An automatic system for identifying the architectural style or detecting the architectural elements of a monument based on one image will certainly help improving our knowledge in art and history. Building such tool is challenging as some styles share architectural elements, the bad conservation state of some monuments and the noise included in the image itself. The aim of this paper is to introduce MonuMAI (Monument with Mathematics and Artificial Intelligence) framework. In particular, (i) we designed MonuMAI dataset rich with expert knowledge considering the proposed architectural styles taxonomy and key elements relationship, which allows addressing several tasks, e.g., monument style classification and architectural elements detection, (ii) we developed MonuMAI deep learning pipeline based on lightweight MonuNet architecture for monument style classification and MonuMAI Key Elements Detection (MonuMAI-KED) model, and (iii) we built citizen science based MonuMAI mobile app that uses the proposed MonuMAI deep learning pipeline trained on MonuMAI dataset for performing in real life conditions. Our experiments show that both MonuNet architecture and the detection model achieve very good results under real life conditions.



中文翻译:

MonuMAI:数据集,深度学习管道和基于公民科学的应用程序,用于纪念性遗产分类和分类

可以通过纪念碑立面上的视觉信息发现艺术史的重要部分。但是,对这种视觉信息(即形态和建筑元素)的分析需要很高的专业知识。一个基于一个图像识别建筑风格或检测纪念碑的建筑元素的自动系统无疑将有助于提高我们的艺术和历史知识。建立这种工具具有挑战性,因为某些样式共享建筑元素,某些纪念物的不良保护状态以及图像本身包含的噪声。本文的目的是介绍MonuMAI(数学与人工智能纪念碑)框架。尤其是,(i)考虑到拟议的建筑风格分类法和关键元素之间的关系,我们设计了具有丰富专业知识的MonuMAI数据集,从而可以解决多个任务,例如纪念碑风格分类和建筑元素检测;(ii)我们基于轻量级开发了MonuMAI深度学习管道用于纪念碑风格分类和MonuMAI关键元素检测(MonuMAI-KED)模型的MonuNet体系结构,以及(iii)我们构建了基于公民科学的MonuMAI移动应用程序,该应用程序使用在MonuMAI数据集上训练的拟议MonuMAI深度学习管道在现实生活中的表现。我们的实验表明,MonuNet体系结构和检测模型在现实生活条件下均取得了很好的结果。纪念碑风格分类和建筑元素检测,(ii)我们开发了基于轻量级MonuNet架构的MonuMAI深度学习管道,用于纪念碑风格分类和MonuMAI关键元素检测(MonuMAI-KED)模型,以及(iii)构建了基于公民科学的MonuMAI移动应用它使用在MonuMAI数据集上训练的拟议的MonuMAI深度学习管道在现实生活中的表现。我们的实验表明,MonuNet体系结构和检测模型在现实生活条件下均取得了很好的结果。纪念碑风格分类和建筑元素检测,(ii)我们开发了基于轻量级MonuNet架构的MonuMAI深度学习管道,用于纪念碑风格分类和MonuMAI关键元素检测(MonuMAI-KED)模型,以及(iii)构建了基于公民科学的MonuMAI移动应用它使用在MonuMAI数据集上训练的拟议的MonuMAI深度学习管道在现实生活中的表现。我们的实验表明,MonuNet体系结构和检测模型在现实生活条件下均取得了很好的结果。(iii)我们构建了基于公民科学的MonuMAI移动应用程序,该应用程序使用在MonuMAI数据集上训练的拟议的MonuMAI深度学习管道在现实生活中的表现。我们的实验表明,MonuNet体系结构和检测模型在现实生活条件下均取得了很好的结果。(iii)我们构建了基于公民科学的MonuMAI移动应用程序,该应用程序使用在MonuMAI数据集上训练的拟议的MonuMAI深度学习管道在现实生活中的表现。我们的实验表明,MonuNet体系结构和检测模型在现实生活条件下均取得了很好的结果。

更新日期:2020-09-30
down
wechat
bug