Web結(jié)構(gòu)挖掘算法研究.pdf

1、Web挖掘是傳統(tǒng)的數(shù)據(jù)挖掘理論在Web中的應(yīng)用，其涉及多學(xué)科領(lǐng)域的知識，如計算機(jī)網(wǎng)絡(luò)、數(shù)學(xué)、人工智能等，是一個交叉性的研究領(lǐng)域。Web結(jié)構(gòu)挖掘（Web Structure Mining）是Web挖掘研究領(lǐng)域的重要分支，它是通過分析各種網(wǎng)頁結(jié)構(gòu)間的關(guān)系信息，從而尋找潛藏在頁面內(nèi)容之外但有潛在價值的信息的過程。 其中，這些網(wǎng)頁結(jié)構(gòu)信息主要包含以下三種：頁面之間的超鏈接結(jié)構(gòu)關(guān)系，可以用超文本標(biāo)記語言（HTML）或可擴(kuò)展標(biāo)記語言（XML

2、）表示的網(wǎng)頁中的樹型結(jié)構(gòu)（DOM），頁面統(tǒng)一資源定位（URL）中起組織和表現(xiàn)形式作用的文件目錄結(jié)構(gòu)。 文章首先分析了經(jīng)典結(jié)構(gòu)挖掘算法PageRank、HITS及其改進(jìn)算法，對算法中存在的問題進(jìn)行了系統(tǒng)的闡述。 PageRank算法是通過離線狀態(tài)計算的，因而具有較快的響應(yīng)速度，但其沒有考慮與查詢主題之間的關(guān)系，導(dǎo)致結(jié)果的主題性很差；HITS算法則是根據(jù)查詢文本進(jìn)行的運(yùn)算，需要在線狀態(tài)完成所有的工作，因此相比前者響應(yīng)速度比較

3、慢。 針對這些問題本文提出了B-PH算法（Algorithm based on PageRank and HITS），該算法充分結(jié)合了文檔內(nèi)容和超鏈接結(jié)構(gòu)，使得結(jié)果頁面集更具有權(quán)威性和相關(guān)性。 最后通過實(shí)驗(yàn)系統(tǒng)對真實(shí)數(shù)據(jù)的檢測，通過與經(jīng)典算法對比驗(yàn)證了該算法的可行性和有效性。 本文所做的主要工作： 1.對經(jīng)典結(jié)構(gòu)挖掘算法進(jìn)行了分析，并對算法中存在的問題進(jìn)行了系統(tǒng)的闡述。 2.提出了Web噪音鏈接處

4、理的新方法，有效地提高了算法的效率。 3.提出了B-PH算法（Algorithm based on PageRank and HITS）。該算法在HITS算法框架基礎(chǔ)上結(jié)合了PageRank，極大地減少了主題漂移現(xiàn)象，提高了查詢效率和質(zhì)量。 4.提出了檢驗(yàn)B-PH算法的實(shí)驗(yàn)?zāi)Ｐ停㈤_發(fā)了DotNet環(huán)境下基于B/S架構(gòu)的Web應(yīng)用實(shí)驗(yàn)系統(tǒng)，系統(tǒng)通過對真實(shí)數(shù)據(jù)處理，驗(yàn)證了算法的可行性和有效性；最后對處理結(jié)果進(jìn)行了對比分析。