ABSTRACT

Limited application of thermography for inflammatory joint disease diagnosis is due to unavailability of joint thermogram dataset and formulated protocol of data acquisition. Focusing on the limitations, we aimed on creation and analysis of knee thermogram dataset by introducing standardized protocols of acquisition. The dataset named as “Infrared Knee Joint Dataset”, and includes healthy, and three different types of arthritis affected knee thermograms. Dataset validation and inflammation oriented ground truth generation procedures are also mentioned in this study. After data acquisition, thermograms are preprocessed and segmented. Finally, the system separates healthy and abnormal knee thermograms, and classifies those abnormal thermograms into three classes. For the classification, conventional feature-based techniques combined with shallow learning as well as deep learning have been used. The experimental results show the following: 1) classification of healthy and arthritis affected knee thermogram achieved 92% accuracy with SVM and 96% using VGG19; 2) In inter-arthritis classification VGG16 has shown the highest accuracy of 86% through ROI-based classification. Creation of standardized knee thermogram dataset and application of deep learning methodology diagnosis arthritis-oriented knee abnormality non-invasively. The described database acquisition protocol and classification strategies could contribute to the designing of accurate and robust image-based arthritis diagnosis systems.

摘要

热成像在炎症性关节疾病诊断中的应用有限是由于关节热图数据集和制定的数据采集协议不可用。着眼于局限性，我们旨在通过引入标准化的采集协议来创建和分析膝关节热图数据集。该数据集命名为“Infrared Knee Joint Dataset”，包括健康的和三种不同类型的关节炎影响的膝关节热谱图。本研究还提到了数据集验证和面向炎症的地面实况生成程序。数据采集​​后，对热谱图进行预处理和分段。最后，系统将健康和异常的膝关节热像图分开，并将这些异常热像图分为三类。对于分类，传统的基于特征的技术与浅层学习和深度学习相结合。实验结果表明： 1) 健康和关节炎影响的膝关节热像图分类使用 SVM 达到 92% 的准确率，使用 VGG19 达到 96%；2) 在关节炎间分类中，VGG16 通过基于 ROI 的分类显示出 86% 的最高准确率。标准化膝关节热像图数据集的创建和应用深度学习方法无创诊断关节炎型膝关节异常。所描述的数据库采集协议和分类策略有助于设计准确和强大的基于图像的关节炎诊断系统。1) 健康和受关节炎影响的膝关节热像图分类使用 SVM 达到 92% 的准确率，使用 VGG19 达到 96%；2) 在关节炎间分类中，VGG16 通过基于 ROI 的分类显示出 86% 的最高准确率。标准化膝关节热像图数据集的创建和应用深度学习方法无创诊断关节炎型膝关节异常。所描述的数据库采集协议和分类策略有助于设计准确和强大的基于图像的关节炎诊断系统。1) 健康和受关节炎影响的膝关节热像图分类使用 SVM 达到 92% 的准确率，使用 VGG19 达到 96%；2) 在关节炎间分类中，VGG16 通过基于 ROI 的分类显示出 86% 的最高准确率。标准化膝关节热像图数据集的创建和应用深度学习方法无创诊断关节炎型膝关节异常。所描述的数据库采集协议和分类策略有助于设计准确和强大的基于图像的关节炎诊断系统。标准化膝关节热像图数据集的创建和应用深度学习方法无创诊断关节炎型膝关节异常。所描述的数据库采集协议和分类策略有助于设计准确和强大的基于图像的关节炎诊断系统。标准化膝关节热像图数据集的创建和应用深度学习方法无创诊断关节炎型膝关节异常。所描述的数据库采集协议和分类策略有助于设计准确和强大的基于图像的关节炎诊断系统。