基于標簽識別的網(wǎng)頁源代碼分析與內(nèi)容提取應用技術研究.pdf

1、隨著互聯(lián)網(wǎng)和計算機的的普及與發(fā)展，互聯(lián)網(wǎng)出現(xiàn)了紛繁復雜的信息源，這些信息源主要以 HTML（以及 XHTML或 XML）網(wǎng)頁形式存儲。通常情況下，這些頁面中經(jīng)常夾雜著大量用戶不感興趣的內(nèi)容，如推薦鏈接和宣傳視圖等，這些噪音數(shù)據(jù)不但會使用戶閱讀效率降低還會嚴重影響搜索引擎查找和網(wǎng)頁的資源挖掘的精確度。本文通過分析超鏈接與網(wǎng)頁正文的結構特點，基于HTML（包括XHTML和 XML）區(qū)域分塊原則，將 HTML中的無關元素（即，噪音）做刪除處理

2、并直接提取HTML源代碼中的正文部分。在進行刪除超鏈接部分時，必須考慮該超鏈接與上下文之間的語義關系，以此達到保持源網(wǎng)頁中正文部分內(nèi)容與結構的完整，以此來消除由于盲目刪除全文中超鏈接所帶來的全文缺失問題。
　　本文的研究內(nèi)容及成果如下：
　?。?）用Python抓取大量的網(wǎng)頁，提取其中的文字標簽和圖像標簽，綜合分析標簽的特點，在統(tǒng)計的基礎上劃定HTML網(wǎng)頁中與正文相關的內(nèi)容和不相關的內(nèi)容（如圖像鏈接）的界限。
　　（2

3、）在分析HTML網(wǎng)頁中與正文相關的內(nèi)容和與正文不相關的內(nèi)容的基礎上，提出了HTML中的正文文字與圖像鏈接判定方法。
　?。?）基于上述方法提出區(qū)域分塊的HTML(XHTML或 XML)元素刪除法和元素嵌入式篩選法來提取 HTML正文。并在此基礎上，使用 Python語言來建立模型并實行優(yōu)化，完成對網(wǎng)頁主題內(nèi)容的提取工作。
　?。?）通過Python語言將上述方法、原理加以實現(xiàn)。分別做了三組實驗，用于對比文本正文提取和 scr