当前位置: X-MOL 学术Mobile Netw. Appl. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Mining of High-Utility Patterns in Big IoT-based Databases
Mobile Networks and Applications ( IF 3.8 ) Pub Date : 2021-01-04 , DOI: 10.1007/s11036-020-01701-5
Jimmy Ming-Tai Wu , Gautam Srivastava , Jerry Chun-Wei Lin , Youcef Djenouri , Min Wei , Reza M. Parizi , Mohammad S. Khan

When focusing on the general area of data mining, high-utility itemset mining (HUIM) can be defined as an offset of frequent itemset mining (FIM). It is known to emphasize more factors critically, which gives HUIM its intrinsic edge. Due to the flourishing development of the IoT technique, the uncertainty patterns mining is also attractive. Potential high-utility itemset mining (PHUIM) is introduced to reveal valuable patterns in an uncertainty database. Unfortunately, even though the previous methods are all very effective and powerful to mine, the potential high-utility itemsets quickly. These algorithms are not specifically designed for a database with an enormous number of records. In the previous methods, uncertainty transaction datasets would be load in the memory ultimately. Usually, several pre-defined operators would be applied to modify the original dataset to reduce the seeking time for scanning the data. However, it is impracticable to apply the same way in a big-data dataset. In this work, a dataset is assumed to be too big to be loaded directly into memory and be duplicated or modified; then, a MapReduce framework is proposed that can be used to handle these types of situations. One of our main objectives is to attempt to reduce the frequency of dataset scans while still maximizing the parallelization of all processes. Through in-depth experimental results, the proposed Hadoop algorithm is shown to perform strongly to mine all of the potential high-utility itemsets in a big-data dataset and shows excellent performance in a Hadoop computing cluster.



中文翻译:

在大型物联网数据库中挖掘高实用性模式

当关注数据挖掘的一般领域时,可以将高实用性项目集挖掘(HUIM)定义为频繁项目集挖掘(FIM)的偏移量。众所周知,要批判性地强调更多因素,这使HUIM具有内在优势。由于物联网技术的蓬勃发展,不确定性模式的挖掘也很有吸引力。引入了潜在的高实用性项目集挖掘(PHUIM),以在不确定性数据库中揭示有价值的模式。不幸的是,即使以前的方法都非常有效和强大,但潜在的高实用性项目集却很快被挖掘出来。这些算法不是专门为具有大量记录的数据库而设计的。在以前的方法中,不确定性事务数据集最终将加载到内存中。通常,将使用几个预定义的运算符来修改原始数据集,以减少扫描数据的搜索时间。但是,在大数据数据集中应用相同的方法是不可行的。在这项工作中,假设数据集太大而无法直接加载到内存中,并且无法复制或修改。然后,提出了可用于处理这些类型情况的MapReduce框架。我们的主要目标之一是尝试减少数据集扫描的频率,同时仍使所有进程的并行化最大化。通过深入的实验结果,表明所提出的Hadoop算法在挖掘大数据数据集中所有潜在的高实用性项目集方面表现出色,并且在Hadoop计算集群中表现出出色的性能。但是,在大数据数据集中应用相同的方法是不可行的。在这项工作中,假设数据集太大而无法直接加载到内存中,并且无法复制或修改。然后,提出了可用于处理这些类型情况的MapReduce框架。我们的主要目标之一是尝试减少数据集扫描的频率,同时仍使所有进程的并行化最大化。通过深入的实验结果,表明所提出的Hadoop算法在挖掘大数据数据集中所有潜在的高实用性项目集方面表现出色,并且在Hadoop计算集群中表现出出色的性能。但是,在大数据数据集中应用相同的方法是不可行的。在这项工作中,假设数据集太大而无法直接加载到内存中,并且无法复制或修改。然后,提出了可用于处理这些类型情况的MapReduce框架。我们的主要目标之一是尝试减少数据集扫描的频率,同时仍使所有进程的并行化最大化。通过深入的实验结果,表明所提出的Hadoop算法在挖掘大数据数据集中所有潜在的高实用性项目集方面表现出色,并且在Hadoop计算集群中表现出出色的性能。提出了一个MapReduce框架,该框架可用于处理这些类型的情况。我们的主要目标之一是尝试减少数据集扫描的频率,同时仍使所有进程的并行化最大化。通过深入的实验结果,表明所提出的Hadoop算法在挖掘大数据数据集中所有潜在的高实用性项目集方面表现出色,并且在Hadoop计算集群中表现出出色的性能。提出了一个MapReduce框架,该框架可用于处理这些类型的情况。我们的主要目标之一是尝试减少数据集扫描的频率,同时仍使所有进程的并行化最大化。通过深入的实验结果,表明所提出的Hadoop算法在挖掘大数据数据集中所有潜在的高实用性项目集方面表现出色,并且在Hadoop计算集群中表现出出色的性能。

更新日期:2021-01-04
down
wechat
bug