基于映射-規(guī)約的網(wǎng)頁(yè)聚類(lèi)算法研究.pdf

1、隨著網(wǎng)絡(luò)應(yīng)用的普及化,網(wǎng)絡(luò)信息量飛速的增長(zhǎng)。因此,人們?nèi)绾卧诤Ａ康臄?shù)據(jù)中獲取有用的知識(shí)變得越來(lái)越重要。通過(guò)長(zhǎng)時(shí)間的研究與探索,人們提出了數(shù)據(jù)挖掘技術(shù),該技術(shù)是一門(mén)多專(zhuān)業(yè)交叉、綜合的學(xué)科,使用該技術(shù)可以有效的將用戶所需的知識(shí)提取出來(lái),聚類(lèi)分析是數(shù)據(jù)挖掘領(lǐng)域中的重要的內(nèi)容和基本工具之一。
　　 數(shù)據(jù)量呈級(jí)數(shù)的增長(zhǎng)和應(yīng)用開(kāi)發(fā)的復(fù)雜性嚴(yán)重阻礙了多核處理器和多處理器系統(tǒng)發(fā)展,進(jìn)而導(dǎo)致數(shù)據(jù)不能有效的利用。經(jīng)典的處理方法是開(kāi)發(fā)一個(gè)具有信息傳遞

2、接口(MPI)的分布式系統(tǒng),由于該接口在并行應(yīng)用中只能提供細(xì)粒度控制,因此,經(jīng)典方法的抽象性和復(fù)雜性超出了現(xiàn)有的計(jì)算能力。與傳統(tǒng)的分布式系統(tǒng)相比,映射/規(guī)約框架提供了一種比MPI更高級(jí)的抽象概念,可以被應(yīng)用于許多數(shù)據(jù)密集型的批量處理任務(wù)中,并且該框架的抽象性和復(fù)雜性在現(xiàn)有的計(jì)算能力范圍內(nèi)能夠被處理。本文在并行計(jì)算與映射/規(guī)約編程框架研究分析的基礎(chǔ)上,對(duì)映射/規(guī)約框架進(jìn)行了理論上改進(jìn),使改進(jìn)后框架的計(jì)算處理性能提高。在改進(jìn)框架的基礎(chǔ)上,實(shí)

3、現(xiàn)了一種基于映射/規(guī)約的MRK-Means算法,該算法采用迭代操作的計(jì)算,能夠?qū)崿F(xiàn)多次執(zhí)行映射/規(guī)約操作,同時(shí)將該算法與網(wǎng)頁(yè)的海量、動(dòng)態(tài)、更新快等屬性特征相結(jié)合,提出一種具有屬性特征的在線OMRK-Means算法,該算法能夠提高在線聚類(lèi)方法的伸縮性和聚類(lèi)精確度,并且縮短了聚類(lèi)操作時(shí)間,有效的處理增量式數(shù)據(jù)。
　　 通過(guò)實(shí)驗(yàn)表明,基于映射/規(guī)約框架的MRK-Means算法在保證執(zhí)行效果的基礎(chǔ)上,與傳統(tǒng)K-Means算法相比,有效地