Web頁面結(jié)構(gòu)相似性的算法研究及應(yīng)用.pdf

1、網(wǎng)頁結(jié)構(gòu)相似性的度量是Web信息處理中的一項(xiàng)重要任務(wù)，在數(shù)據(jù)抽取和搜索引擎等研究領(lǐng)域有著潛在的重要研究價值。好的相似性度量方法可以提高數(shù)據(jù)抽取的準(zhǔn)確率和速度，還可以提高搜索引擎的速度、提高返回?cái)?shù)據(jù)的質(zhì)量、減少大量冗余數(shù)據(jù)占據(jù)的存儲空間。實(shí)現(xiàn)該任務(wù)的已有算法往往存在著時間復(fù)雜度過高的問題。
　　 通常，簡單的DOM樹模型可用于HTML文檔建模，展現(xiàn)文檔的結(jié)構(gòu)信息模型。然而，DOM樹只是把文檔按照其結(jié)點(diǎn)的嵌套結(jié)構(gòu)表示為樹結(jié)構(gòu)，它并不

2、能夠表達(dá)重復(fù)子樹這樣的結(jié)構(gòu)信息。而重復(fù)子樹這種內(nèi)部結(jié)構(gòu)信息對于web文檔間的結(jié)構(gòu)相似性度量是相當(dāng)重要的。
　　 為了解決這一問題，本文提出了一種稱為“Tag-Bag樹”的樹模型。該模型使用Bag節(jié)點(diǎn)來表示樹中的重復(fù)元素(重復(fù)元素在很多web應(yīng)用中都非常重要)，從而可以捕獲半結(jié)構(gòu)化文檔的結(jié)構(gòu)信息?；赥ag-Bag樹模型，我們進(jìn)一步提出CTM(Complex Tree Matching)算法來計(jì)算兩棵Tag-Bag樹的最大匹配作為