基于Hadoop的數(shù)據(jù)挖掘算法的研究.pdf

1、大數(shù)據(jù)時代的來臨，使得傳統(tǒng)數(shù)據(jù)的存儲方式難以勝任海量的分析、管理、挖掘的任務(wù)，如何能快速有效的從中發(fā)現(xiàn)可供人們使用的信息及知識是今后數(shù)據(jù)挖掘技術(shù)所接受的新任務(wù)。傳統(tǒng)的數(shù)據(jù)挖掘算法在海量數(shù)據(jù)面前，效率低下并且浪費(fèi)存儲空間，云計(jì)算的興起為數(shù)據(jù)挖掘算法的并行化改進(jìn)帶來了新的生機(jī)，其高效的編程模式，海量的存儲能力，強(qiáng)大的計(jì)算水平，為數(shù)據(jù)挖掘的未來提供了廣闊的平臺。
　　Hadoop是Apache公司旗下的一個構(gòu)建云計(jì)算平臺的頂級項(xiàng)目，基于

2、此項(xiàng)目的分布式計(jì)算平臺已經(jīng)非常穩(wěn)定，國內(nèi)外許多公司都使用Hadoop來搭建自己的分布式計(jì)算平臺。Hadoop以其開源、高性能、靈活易用等特點(diǎn)得到了廣泛研究和應(yīng)用。Hadoop采用MapReduce編程模型來進(jìn)行分布式計(jì)算，采用HDFS分布式文件系統(tǒng)進(jìn)行文件存儲，并擁有包括數(shù)據(jù)庫HBase及數(shù)據(jù)倉庫Hive等一系列子項(xiàng)目。
　　本文主要對聚類算法中的K-means算法進(jìn)行了詳細(xì)研究，通過對大規(guī)模數(shù)據(jù)進(jìn)行抽樣，利用凸包及求解對踵點(diǎn)解決