基于DOM樹的正文抽取算法研究.pdf

1、正文抽取是通過相關的技術或者算法從網頁中獲取網頁核心內容或者主題內容的過程。隨著互聯(lián)網的快速發(fā)展，Web數據不斷增加。在海量的數據中，如何通過正文抽取剔除掉與正文內容不相關的信息，得到“干凈”的正文信息，在輿情監(jiān)測、新聞追蹤、情感分析、文本分類等領域都有著重要的意義。
　　隨著網頁技術的日益更新，正文抽取的挑戰(zhàn)越來越大，主要面臨的挑戰(zhàn)如下：
　?。?）網頁的數據量較大；
　?。?）網站的結構和布局通常不同；
　　

2、（3）網站板式的動態(tài)變化性；
　?。?）網頁噪音數據的多樣化?，F有的正文抽取方法，例如CETR和CETD，在一定程度上實現了正文抽取，但是在對網頁正文抽取準確率和通用性方面還有待提高。針對上述問題，本文通過分析觀察正文和噪音的特點、網頁結構、關鍵詞和正文的關系，在基于DOM樹的基礎上，主要研究內容如下：
　　1.提出了基于文本特征值的正文抽取算法。該算法通過遍歷DOM樹，計算DOM樹節(jié)點下的文本長度和標點符號的權重，同時引入

3、標準差來區(qū)分正文內容和噪音內容。為了解決短文本的抽取問題，該算法又引入了高斯平滑，對文本特征值進行平滑處理，降低了相鄰節(jié)點間文本特征值的突變性，防止特殊正文節(jié)點因特征值太低而丟失的情況。在實驗中，選取了10個主流新聞網站中近千個網頁進行測試。實驗結果表明，文本特征值算法在正文抽取方面具有較好的抽取效果和通用性，其在準確率方面達到了0.9353，召回率為0.9949，F值為0.9585。
　　2.提出了一種基于關鍵詞匹配的正文抽取算

4、法。該算法首先通過網頁源代碼Keywords標簽中的內容或者網頁的標題建立關鍵詞標準庫；然后將進行預處理后的網頁構建相應的DOM樹，通過層次遍歷DOM樹，統(tǒng)計節(jié)點包含有效關鍵詞的數量；最后通過構建關鍵詞權重公式計算節(jié)點的關鍵詞權重值，和閾值比較后找出包含正文的節(jié)點，準確實現對正文的抽取。在實驗中，同樣選取10個主流新聞網站中近千個網頁進行測試。實驗結果表明，關鍵詞匹配算法通過統(tǒng)計有效關鍵詞尋找正文節(jié)點進行正文抽取，算法原理和文本長度無關