李正杰
- 作品数：2 被引量：12H指数：2
- 供职机构：南京邮电大学计算机学院更多>>
- 发文基金：国家自然科学基金更多>>
- 相关领域：自动化与计算机技术更多>>
- 基于Hadoop平台的SVM_KNN分类算法的研究被引量：7
- 2016年
- 数据的变革带来了前所未有的发展,对丰富且复杂的结构化、半结构化或者是非结构化数据的监测、分析、采集、存储以及应用,已经成为了数据信息时代发展的主流,分类和处理海量数据包含的信息,需要有更好的解决方法。传统的数据挖掘分类方式显然已经不能满足需求,面对这些问题,这里对数据挖掘的一些分类算法进行分析和改进,对算法进行结合,提出了改进的SVM_KNN分类算法。在这个基础上,利用Hadoop云计算平台,将研究后的分类算法在MapReduce模型中进行并行化应用,使改进后的算法能够适用于大数据的处理。最后用数据集对算法进行实验验证,通过对比传统的SVM分类算法,结果表明改进后的算法达到了高效、快速、准确、低成本的要求,可以有效地进行大数据分类工作。
- 李正杰黄刚
- 关键词：HADOOP并行化
- 基于Hadoop平台的SVM_WNB分类算法的研究被引量：5
- 2016年
- SVM算法和朴素贝叶斯分类算法是对大量复杂数据分类中性能优秀的算法。然而它们的缺点使得分类效果受到了影响,而且传统的数据挖掘分类算法也无法满足对于海量数据的处理。针对这些问题,这里对传统的朴素贝叶斯算法进行了分析和改进,提出了SVM_WNB分类算法,并且在Hadoop云平台上对算法实现并行化处理,使其能够对大数据进行处理。实验验证,改进后的算法在准确性和效率等方面有明显提升,在大数据的分类上将会起到显著的效果。
- 黄刚李正杰
- 关键词：大数据数据挖掘并行化
