基于改進DOM樹的主題型網(wǎng)頁去噪聲研究.pdf

1、隨著Internet的高速發(fā)展，Web上承載的網(wǎng)頁數(shù)據(jù)也與日俱增。一個普通網(wǎng)頁上包含的數(shù)據(jù)一般可以分成兩部分：內(nèi)容塊和噪聲塊，其中噪聲塊主要包括網(wǎng)頁頂部或側(cè)邊的導航欄、四周的廣告條和底部的版權(quán)信息等。噪音數(shù)據(jù)幾乎占據(jù)網(wǎng)頁的一半比例，并且這個比例還在持續(xù)增長。網(wǎng)頁噪音數(shù)據(jù)的持續(xù)增長不僅使用戶更難獲取與主題相關的信息，而且加大用戶搜索有用信息的效率，因此如何快速去除網(wǎng)頁上與主題信息無關的噪音信息顯得尤為重要。
　　網(wǎng)頁去噪的方法一般分

2、為基于網(wǎng)頁模板的去噪方法、基于網(wǎng)頁視覺信息的去噪方法和基于DO M樹的去噪方法。本文主要基于DO M樹結(jié)構(gòu)對主題型網(wǎng)頁進行去噪處理。在以往的基于 DO M樹的網(wǎng)頁去噪研究中，研究者大多根據(jù)設定的規(guī)則首先將 DO M樹節(jié)點劃分不同類型，然后根據(jù)節(jié)點類型判斷哪些是噪音節(jié)點。但根據(jù)某單一因素便過早將節(jié)點劃分不同類型，可能會造成節(jié)點類型誤判，從而影響后續(xù)的去噪效果。另外本文通過分析國內(nèi)幾大門戶網(wǎng)站的二級詳情頁，發(fā)現(xiàn)主題型的網(wǎng)頁具有主題突出、文字

3、內(nèi)容較多、圖片和鏈接較少等特征。
　　針對以往基于DO M樹研究的不足和主題型網(wǎng)頁的結(jié)構(gòu)特點、文本特點、標簽語義特點等，本文在傳統(tǒng)DO M樹基礎上構(gòu)建一種改進的DO M樹模型，并基于此改進的DO M樹模型給出了主題型網(wǎng)頁的去噪方法，研究的主要內(nèi)容如下：
　?。?）將HTML標簽依據(jù)與主題相關性和節(jié)點劃分粒度分為主題塊標簽和非主題塊標簽。綜合考慮主題型網(wǎng)頁中標簽與主題語義關聯(lián)度、節(jié)點內(nèi)鏈接特征值、節(jié)點內(nèi)文本長度、節(jié)點內(nèi)子節(jié)點純

4、文本節(jié)點數(shù)、節(jié)點內(nèi)圖片個數(shù)，在構(gòu)建 DO M樹時依次給 Node節(jié)點添加自定義屬性 tagDeg、linkVal、textLen、textNum、picNum。
　?。?）提出了改進DOM樹模型。首先把HTML文檔解析成DOM樹結(jié)構(gòu)，然后遍歷DO M樹依次給DO M樹中節(jié)點添加自定義屬性，在對DO M內(nèi)非主題塊節(jié)點進行合并時，同時也對節(jié)點內(nèi)新添加屬性tagDeg和link Va l的值進行累加計算，最后構(gòu)建只包含主題塊節(jié)點的改進的