基于分塊的新聞網頁信息抽取算法研究.pdf

1、網頁信息抽取是數據挖掘中的一個重要研究領域,旨在從半結構化的網頁文檔中提取出有價值的信息,已廣泛應用于新聞領域、學科專業(yè)知識領域、金融領域、電子商務領域、軍事領域、醫(yī)學領域等。在網頁文檔中除了用戶感興趣的信息外,往往包含其他較多的無用信息,如為了便于用戶瀏覽網頁而加入的頁面導航鏈接信息以及出于商業(yè)目的而附加的廣告、圖片信息等,這些內容被稱之為“網頁噪音”。由于網頁文檔之間的異構性,如果采用人工操作的方式從來源于不同網站的新聞網頁文檔中準

2、確的提取出新聞信息,往往會花費較多的時間和精力,處理過程繁瑣且效率不高。因此,如何快速、準確的從新聞網頁文檔中抽取出新聞信息是本文的主要研究內容。
　　本文利用網頁解析技術,在常規(guī)網頁噪音清洗的基礎上,以塊為基本單位,研究提出基于模板頁的相同噪音塊清洗方法、基于class屬性的同類噪音塊和特殊噪音塊清洗方法,以使網頁噪音清洗的更徹底、減少網頁噪音對新聞內容抽取準確率的影響;并利用網頁新聞在內容布局結構上的特征,研究提出一種基于新聞

3、起始塊和終止塊的新聞網頁信息抽取算法,以期能夠同時處理新聞正文內容存放在單塊和多塊內的情形、有效解決新聞正文內容較短無法有效抽取的問題,同時本文的模板頁選取不需要經過大量的樣本學習。實驗結果表明,與已有的網頁信息抽取算法相比,該方法獲得了較高的準確率。
　　在實際應用中,為了進一步提高新聞網頁信息抽取的效率,本文提出了一種負載相對平衡的網頁文檔劃分方法,確保了網頁標簽在網頁文檔中的實際先后順序,保留了網頁標簽自身的原始結構以及標簽