網(wǎng)頁正文提取系統(tǒng)的詳細設(shè)計與實現(xiàn)-畢業(yè)設(shè)計

1、1目錄目錄摘要...................................................................................................31.緒論....................................................................................................41.1課題背景.

2、.....................................................................................41.1.1搜索引擎的歷史....................................................................41.1.2搜索引擎的發(fā)展方向.......................................

3、.....................51.1.3搜索引擎的最新技術(shù)發(fā)展....................................................61.2課題來源、目的和意義..............................................................81.3主要研究內(nèi)容............................................

4、.................................92.網(wǎng)頁正文提取系統(tǒng)的詳細設(shè)計與實現(xiàn)..........................................102.1基本原理...................................................................................102.2網(wǎng)頁預(yù)處理系統(tǒng)......................

5、...............................................112.2.1HTML標簽規(guī)范化...............................................................112.2.1建立網(wǎng)頁的DOM樹結(jié)構(gòu).................................................143摘要隨著互聯(lián)網(wǎng)信息技術(shù)的不斷發(fā)展，互聯(lián)網(wǎng)的信息量

6、也日益膨脹。近年來，全球因特網(wǎng)上的信息數(shù)據(jù)正以爆炸式的速度在增長。據(jù)IDC報告稱，從現(xiàn)在到2010年，預(yù)計信息量將以每年57%的速度增長，在2010年信息總量將達到988EB（1EB=10億GB），約為2006年的6倍，相當于有史以來所有書籍數(shù)字信息量的1800萬倍。面對如此巨大的互聯(lián)網(wǎng)信息庫，如何快速、有效、經(jīng)濟地檢索到某個主題的所有相關(guān)信息就成了當前一個十分熱門的研究課題。這時，搜索引擎的出現(xiàn)無疑給人們帶來了極大的方便。然而，隨著互

7、聯(lián)網(wǎng)信息的不斷巨增和搜索引擎所覆蓋網(wǎng)頁范圍的不斷擴大，人們發(fā)現(xiàn)，即使是借助搜索引擎的幫助，他們也越來越難以有效和準確的找到自己所需要的信息資源。本文在研究了現(xiàn)有的搜索引擎的解決方案后，通過采用一種統(tǒng)計網(wǎng)頁特征的方法，將中文網(wǎng)頁中的正文部分抽取出來。該方法首先將網(wǎng)頁表示成基于XML的DOM樹形式，利用統(tǒng)計的節(jié)點信息從樹中過濾掉噪音數(shù)據(jù)節(jié)點，最后再選取正文節(jié)點。該方法相比傳統(tǒng)的基于包裝器的抽取方法，具有簡單，實用的特點，試驗結(jié)果表明，該抽取