基于高性能計(jì)算機(jī)并行聚類(lèi)算法研究.pdf

1、當(dāng)今信息化時(shí)代,各種以數(shù)據(jù)形式表達(dá)的信息幾乎以指數(shù)的量級(jí)在迅速增長(zhǎng),許多隱含在海量數(shù)據(jù)中的知識(shí)正等待人們?nèi)ネ诰?、去發(fā)現(xiàn).作為數(shù)據(jù)庫(kù)研究、開(kāi)發(fā)和應(yīng)用最活躍的分支,數(shù)據(jù)挖掘—從大量數(shù)據(jù)中用非平凡的方法發(fā)現(xiàn)有用的知識(shí)--有著廣泛的應(yīng)用.但是,數(shù)據(jù)挖掘面臨的是海量數(shù)據(jù)和極其復(fù)雜的運(yùn)算,而以往的數(shù)據(jù)挖掘技術(shù)主要是基于傳統(tǒng)的(串行)計(jì)算機(jī)系統(tǒng),盡管人們?yōu)榱私鉀Q運(yùn)算的時(shí)間和空間的復(fù)雜性問(wèn)題花費(fèi)了大量的精力,卻仍然得不到滿(mǎn)意的結(jié)果.有些數(shù)據(jù)挖掘方法,即

2、使有并行挖掘的概念,也因缺乏并行運(yùn)行環(huán)境而只能在串行計(jì)算機(jī)上運(yùn)行,因而大大降低了挖掘效率.隨著網(wǎng)絡(luò)技術(shù)、高性能計(jì)算機(jī)的發(fā)展,對(duì)大規(guī)模數(shù)據(jù)的分布式并行處理已成為可能.并行數(shù)據(jù)挖掘技術(shù)的研究成為當(dāng)前研究熱點(diǎn)和今后重點(diǎn)發(fā)展的方向,國(guó)內(nèi)外都在進(jìn)行一些數(shù)據(jù)挖掘并行算法的研究.上海大學(xué)峰值速度達(dá)到每秒4500億次浮點(diǎn)操作的自強(qiáng)2000機(jī)群系統(tǒng)為我們開(kāi)展并行數(shù)據(jù)挖掘技術(shù)的研究提供了良好的基礎(chǔ)條件.數(shù)據(jù)聚類(lèi)在數(shù)據(jù)挖掘、模式識(shí)別、圖象處理和數(shù)據(jù)壓縮等領(lǐng)域

3、有廣泛的應(yīng)用,是數(shù)據(jù)挖掘的一個(gè)重要分支.本文總結(jié)了聚類(lèi)算法的基本模型,選擇DBSCAN算法,提出幾種適合在高性能機(jī)群系統(tǒng)上運(yùn)行的并行DBSCAN算法,通過(guò)實(shí)驗(yàn)和比較,分析幾種并行DBSCAN算法的優(yōu)缺點(diǎn).這些算法都收集在基于自強(qiáng)2000機(jī)群系統(tǒng)并行數(shù)據(jù)挖掘系統(tǒng)中,該系統(tǒng)除了運(yùn)行算法之外,還實(shí)現(xiàn)了數(shù)據(jù)清洗、數(shù)據(jù)劃分及數(shù)據(jù)發(fā)送(發(fā)送到各個(gè)處理機(jī)上)、參數(shù)選擇及聚類(lèi)質(zhì)量評(píng)估等功能.具體而言,本文的工作如下:1)分析基本的聚類(lèi)算法,對(duì)它們的可并

4、行性進(jìn)行討論,選擇一種聚類(lèi)性能好,適合并行的聚類(lèi)算法——DBSCAN算法;2)在串行DBSCAN算法基礎(chǔ)上提出三種并行DBSCAN算法,一種是建立在全局?jǐn)?shù)據(jù)庫(kù)上的全局并行DBSCAN算法——PDBSCAN,其他兩個(gè)是基于數(shù)據(jù)分區(qū)的并行DBSCAN算法——DPDBSCAN和OPDBSCAN;3)分析比較了三種算法的優(yōu)缺點(diǎn);4)建立聚類(lèi)性能評(píng)估模型,向用戶(hù)反饋聚類(lèi)性能信息,介紹如何指導(dǎo)用戶(hù)選擇相關(guān)參數(shù);5)介紹基于機(jī)群系統(tǒng)并行數(shù)據(jù)挖掘系統(tǒng)的