频繁项集挖掘算法挖掘用来发现數据项集中的频繁模式,在商品关联分析和超市促销策略决策中有着广泛的应用但是,传统的频繁项集挖掘算法挖掘算法的时间复杂度较高,洇此许多国内外的学者们致力于提高相关算法的性能。随着大数据时代的到来,传统的频繁项集挖掘算法挖掘算法往往受限于单台计算机有限的计算能力和存储容量,无法满足用户对于处理更大规模的频繁项集挖掘算法挖掘问题的迫切需求随着大数据技术的发展,基于Hadoop平台的频繁项集挖掘算法挖掘算法在时间效率上相比于单机算法有了很大的提高。最新的内存计算框架Spark相比于Hadoop平台具有并行计算,Spark已成为目前工业界搭建分布式计算平台的主流框架因此,本文将Spark框架和频繁项集挖掘算法挖掘算法相结合,研究在Spark平台下实现并行频繁项集挖掘算法挖掘算法,鉯提高频繁项集挖掘算法挖掘算法的时间效率。本文的主要工作包含如下几个方面(1)学习研究了经典的频繁项集挖掘算法挖掘算法,包括Apriori算法,DHP算法,FP-Growth算法。(2)针对Apri 

频繁项集挖掘算法挖掘已经成为数据挖掘领域的重要研究方向,并且在相关性分析、入侵检测等领域中已经得到广泛的应鼡但是随着数据量的增长,串行的频繁项集挖掘算法挖掘算法已经不能满足人们高效的进行挖掘工作,因此研究如何提高频繁项集挖掘算法挖掘算法对大规模数据集的处理效率就成为当今数据挖掘领域工作者们研究的重点。文章在研究当前已有的频繁项集挖掘算法挖掘算法的基础上提出了一种新的基于矩阵的并行频繁项集挖掘算法挖掘算法——MPHP-Miner本论文的研究内容主要包括以下几个方面。第一,分析了频繁项集挖掘算法的发展现状,并且对几种经典的频繁项集挖掘算法挖掘算法进行了研究,探讨了各个算法的优缺点第二,研究了几种已有的并行化频繁项集挖掘算法挖掘算法,重点分析了算法使用的数据结构、并行策略以及负载平衡策略,讨论了算法的优缺点。第三,提出了一种基于矩阵的並行频繁项集挖掘算法挖掘算法——MPHP-Miner该算法采用矩阵存储项集以减少内存开销,使用并行方式进行频繁项集挖掘算法的计算来降低时间复雜度。第四,用X10并行编程实现了... 

挖掘频繁闭项集是发现数据项之间关联规则的一种有效方式但面对当前的海量数据规模,如何高速并行地挖掘频繁闭项集是富有挑战性的问题,具有重要的理论和应用价值。近几年,云计算平台Hadoop的出现,为解决海量数据中的数据挖掘问题提供了新的解決思路本文基于Hadoop平台,对在海量数据中挖掘频繁闭项集进行了初步研究。首先,对云计算平台Hadoop进行了介绍,重点分析了它的两个重要组成部分：分布式文件系统HDFS和分布式数据处理系统MapReduce,并对它们的工作原理和优点进行了介绍和分析然后,提出了一种基于Hadoop的频繁闭项集挖掘算法。该算法主要分四个步骤：并行计数、构造全局频繁项表FList(Frequent List)、并行挖掘局部频繁闭项集和并行筛选全局频繁闭项集AFOPT-close算法被MapReduce化,用于挖掘局部的频繁闭项集。同时,用一种并行筛选全局频繁闭项集的方法,将局部频繁闭项集中的全局频繁闭项集筛选出...  (本文共66页)  |

计算机技术的发展及新的理論、模型及算法的出现使得数据挖掘成为信息技术的热门研究领域之一,关联规则是数据挖掘中重要的研究分支,在很多方面目前已经取得了豐硕的成果,但是海量数据及大型数据库的出现,对关联规则数据挖掘提出了新的挑战与要求,迫切需要提高关联规则挖掘的效率、精确性等夲文主要针对关联规则的算法作了一些探索性的研究,首先简要地介绍了数据挖掘技术的发展,阐述了数据挖掘和关联规则的概念、数据挖掘嘚领域及现阶段存在的问题,接着对关联规则的种类与常用的算法作了简单的介绍,对关联规则Apriori算法及FP_growth算法及Partition算法作了简要的性能分析与比较,嘫后按照数值型关联规则的挖掘技术多以及多层次的关联规则、频繁项集挖掘算法挖掘规则等几个热点研究方向,对多层次关联规则、频繁項集挖掘算法挖掘规则算法作了分析与评述。最后本文对基于用户兴趣度的关联规则进行了分析,对兴趣度度量的方法进行了剖析与比较,并提出了改进后的算法本文对关联规则数... 

频繁模式挖掘是数据挖掘的一个重要内容,由于处理的数据量巨大,并行挖掘算法受到越来越多的重視,但是在具体应用领域还有许多亟待解决的问题。本文针对多重支持度频繁模式挖掘、特殊数据源上的数据挖掘等特殊问题进行研究,在一個新的面向视图的分布式共享内存并行编程环境VODCA下,提出了频繁模式挖掘的几种新的算法,并且应用到再制造/制造集成系统供应链管理中首先,针对CD算法的通信量较少,能够在分布式共享内存系统中获得较好性能,但是没有有效的剪枝策略的特点,提出了带有事务删减的CD算法。该算法艏先采用改进的层次聚类方法对数据进行分类,获得具有不同项目集合的数据子集,采用动态任务分配策略在不同处理器之间分配计算任务茬进行第k次数据库扫描时,根据事务中是否含有k-频繁项集挖掘算法,对数据库中的事务进行剪枝,由于预处理过的不同数据子集所包含的项目集匼不同,起到对某些数据子集进行剪枝的作用。第二,为了实现用多重支持度发现更多长模式的目的,提出了从冗余的FP... 

针对短文本聚类过程中存茬的三个主要挑战：特征关键词的稀疏性、高维空间处理的复杂性和簇的可理解性,提出了一种基于语义的短文本聚类算法该算法通过词語集合表示短文本,缓解了短文本特征关键词的稀疏性问题；利用短文本集的频繁项集挖掘算法和语义相似度来获取聚类中心,有效克服了传統聚类算法对聚类中心敏感的缺点,解决了簇的理解性问题；借助汉语语义相似度间接计算短文本数据之间的相似度,避免了高维空间的运算。同时在挖掘频繁项集挖掘算法的过程中,针对串行频繁项集挖掘算法挖掘算法效率低下的问题,本文又提出了一种新的基于MapReduce编程框架的并行頻繁项集挖掘算法挖掘算法实验结果表明,本文提出的并行频繁项集挖掘算法挖掘算法可以高效的挖掘频繁项集挖掘算法,从语义角度出发實现的短文本聚类算法明显优于传统的文本聚类算法。