基于云計(jì)算的DBSCAN算法研究.pdf

1、隨著計(jì)算機(jī)應(yīng)用的普及和網(wǎng)絡(luò)技術(shù)的快速發(fā)展，數(shù)據(jù)的存儲(chǔ)量急劇增加，如何有效地利用海量的歷史數(shù)據(jù)分析現(xiàn)狀和預(yù)測趨勢，已經(jīng)成為各行業(yè)面臨的關(guān)鍵挑戰(zhàn)。解決這一問題的努力促使數(shù)據(jù)挖掘技術(shù)的產(chǎn)生和發(fā)展，目前，數(shù)據(jù)挖掘技術(shù)已被廣泛運(yùn)用，它在零售業(yè)、金融業(yè)、電信業(yè)、生物醫(yī)學(xué)及天文學(xué)等領(lǐng)域都有很多應(yīng)用。聚類分析技術(shù)作為其重要組成部分，已經(jīng)廣泛應(yīng)用于模式識(shí)別、數(shù)據(jù)分析、圖象處理、市場研究等許多領(lǐng)域。聚類分析中的DBSCAN算法由于具有能在含有噪聲的數(shù)據(jù)空間

2、中發(fā)現(xiàn)任意形狀的簇的能力，得到了廣泛的應(yīng)用，已經(jīng)成為數(shù)據(jù)挖掘研究領(lǐng)域中非常活躍的一個(gè)研究課題。
　　 云計(jì)算是目前國內(nèi)外研究的熱點(diǎn)，它是當(dāng)前多種高性能的計(jì)算模式的發(fā)展，是一種通過網(wǎng)絡(luò)以服務(wù)的方式提供動(dòng)態(tài)可伸縮的虛擬化的資源的計(jì)算模式。人們可以通過網(wǎng)絡(luò)在云計(jì)算平臺(tái)上獲得可動(dòng)態(tài)擴(kuò)展的計(jì)算和存儲(chǔ)能力，具有在降低終端設(shè)備要求的同時(shí)提高數(shù)據(jù)處理效率的能力，可以有效地解決處理海量數(shù)據(jù)時(shí)所面臨的問題。
　　 本論文以實(shí)習(xí)時(shí)參與的項(xiàng)目為

3、基礎(chǔ)，分析和研究了云計(jì)算技術(shù)和海量數(shù)據(jù)挖掘的相關(guān)技術(shù)，并重點(diǎn)研究了基于密度的DBSCAN聚類算法。論文針對(duì)DBSCAN聚類算法的缺點(diǎn)，結(jié)合項(xiàng)目中充電站數(shù)據(jù)的特點(diǎn)，提出了一種新的算法，這個(gè)算法就是基于網(wǎng)格控制因子的DBSCAN聚類算法，它是以項(xiàng)目中所用的固定網(wǎng)格大小的DBSCAN算法為基礎(chǔ)的，通過一個(gè)叫做網(wǎng)格控制因子的值來微調(diào)網(wǎng)格的大小，從而找到一個(gè)使聚類精度最好的最佳網(wǎng)格大小。論文用充電站數(shù)據(jù)證明了其聚類精度得到了有效的改進(jìn)，同樣具有有

4、效降低時(shí)間復(fù)雜度的優(yōu)點(diǎn)。
　　 本論文要解決的第二個(gè)重要問題就是對(duì)改進(jìn)的算法做并行化處理，然后在云計(jì)算平臺(tái)上實(shí)現(xiàn)。要對(duì)海量數(shù)據(jù)集進(jìn)行聚類分析，就必須保證系統(tǒng)能維持在一個(gè)穩(wěn)定、高效的環(huán)境。論文設(shè)計(jì)了基于Hadoop的并行化算法，在搭建了簡單的Hadoop環(huán)境后，通過在MapReduce框架下對(duì)DBSCAN聚類算法進(jìn)行封裝，大大提高了算法的運(yùn)行效率。最后利用復(fù)制的大規(guī)模充電站數(shù)據(jù)對(duì)基于云計(jì)算的改進(jìn)算法進(jìn)行了驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，基于云