基于標簽分析的網(wǎng)頁正文提取技術研究.pdf

1、本文通過分析新浪、搜狐、網(wǎng)易、騰訊、百度、中國新聞網(wǎng)、中華網(wǎng)、21CN網(wǎng)這八大網(wǎng)站中的噪音數(shù)據(jù)特點和它所產(chǎn)生的影響，并利用HTML的結構特征，提出了一種基于區(qū)域分塊的HTML元素刪除法和內(nèi)嵌式元素提取法,可用于網(wǎng)頁正文的自動提取。當然，這兩種方法對于XHTML和XML也是可行的。為簡便起見，本文在下面的全部內(nèi)容中，將省略對XHTML和XML的重復說明。
　　 本文的研究內(nèi)容及成果如下：
　　 ①在分析網(wǎng)頁中與網(wǎng)頁正文內(nèi)容

2、相關和無關的文字鏈接和圖像鏈接的基礎上，結合HTML標簽及其內(nèi)容，提出了與網(wǎng)頁正文內(nèi)容無關的鏈接判斷模型。
　　 ②本文綜合分析了大量的新聞網(wǎng)頁中圖像標簽的特點，在統(tǒng)計的基礎上得出了與網(wǎng)頁正文內(nèi)容相關和無關圖像的較準確范圍。
　　 ③分析傳統(tǒng)的DOM樹、靜態(tài)正則表達式等提取網(wǎng)頁正文的技術之后，本文提出了區(qū)域分塊的概念、確定網(wǎng)頁正文標題位置的相似率，并在此基礎上，進一步提出了基于區(qū)域分塊的HTML標簽的提取網(wǎng)頁正文內(nèi)容的兩

3、種方法：基于區(qū)域分塊的HTML元素刪除法和元素內(nèi)嵌式提取法。
　　 ④采用八大網(wǎng)站的新聞網(wǎng)頁作為測試集，針對本文提出的兩種網(wǎng)頁正文提取方法，做了相應的測試。將本文中的兩種網(wǎng)頁正文提取方法和傳統(tǒng)的方法做了比較，結果表明，文中的兩種方法都能比傳統(tǒng)方法更好地實現(xiàn)網(wǎng)頁正文內(nèi)容提取。
　　 綜上所述：本文提出的區(qū)域分塊的HTML元素內(nèi)嵌式提取法和區(qū)域分塊的元素刪除法，在維持網(wǎng)頁結構和內(nèi)容不變的情況下，能夠較準確地提取出HTML文檔