基于云計算的Web結(jié)構(gòu)挖掘算法研究.pdf

1、Web結(jié)構(gòu)挖掘是通過研究網(wǎng)頁之間的鏈接結(jié)構(gòu)來發(fā)現(xiàn)網(wǎng)絡的組織結(jié)構(gòu)和鏈接關(guān)系中隱藏的知識。隨著互聯(lián)網(wǎng)的發(fā)展,對網(wǎng)絡中的海量數(shù)據(jù)分析與挖掘都面臨著在計算能力和存儲空間方面的瓶頸。云計算作為目前國內(nèi)外研究的熱點,是網(wǎng)格計算、并行計算、分布式計算的發(fā)展,利用云計算技術(shù),人們可以方便的通過網(wǎng)絡獲取強大的計算能力、存儲能力以及基礎(chǔ)設(shè)施。云計算思想可以有效解決分析與處理海量數(shù)據(jù)時面臨的問題,并提供了可靠性高、可擴展的的數(shù)據(jù)處理存儲中心,在降低了終端設(shè)備

2、要求的同時提高了處理數(shù)據(jù)的能力。
　　 本文在研究Web結(jié)構(gòu)挖掘經(jīng)典算法Pagerank和云計算關(guān)鍵技術(shù)Mapreduce的基礎(chǔ)上,做了如下工作:
　　 1.在云計算環(huán)境下對Pagerank算法進行研究,將Pagerank算法與Mapreduce編程模型結(jié)合。對不同規(guī)模的數(shù)據(jù)集測試基于Mapreduce的Pagerank算法的性能。
　　 2.針對并行Pagerank算法運行大數(shù)據(jù)集時面臨的:每次迭代都需要訪問H

3、DFS導致I/O消耗增加;每次Mapreduce迭代在混合階段和排序階段因為要處理大量key而導致時間消耗多的問題提出了兩個改進算法。一個是利用矩陣分塊的思想將鄰接矩陣分塊處理,以減少每次MapReduce迭代在混合階段和排序階段的時間消耗。另一個是在通過增加每次迭代Pagerank計算跨度基礎(chǔ)上,成倍減少迭代次數(shù),即減少與迭代次數(shù)相關(guān)的網(wǎng)絡通信消耗和訪問HDFS的I/O操作消耗。
　　 3.利用Hadoop搭建云環(huán)境,在實驗環(huán)