基于Web的新聞信息抽取系統(tǒng)設計與實現(xiàn).pdf

1、因特網(wǎng)的飛速發(fā)展，使其成為迄今為止最密集、最豐富的新聞信息來源。伴隨著因特網(wǎng)的廣泛應用，網(wǎng)絡中的新聞信息迅速地積累、膨脹，新聞信息的利用需求與要求也不斷提高。人們很難有效地利用搜索引擎來發(fā)現(xiàn)所需的Web新聞信息資源。為了解決對Web新聞信息資源的需求問題，各大搜索引擎均推出了專門針對新聞信息的搜索服務。但是，僅僅依靠傳統(tǒng)的瀏覽器和搜索引擎很難幫助人們找到符合自己所需要的特定的新聞信息資源。新聞信息抽取系統(tǒng)的提出，有效地解決了準確獲取We

2、b頁面中的新聞信息資源的難題。 本文在分析新聞網(wǎng)頁結構的基礎上，提出了一種基于網(wǎng)頁文本源碼標簽特征匹配思想，從指定Web站點中定時自動抽取新聞信息的方法。該方法是以Web頁面文檔對象樣本為基礎，利用正則表達式表示提取信息的源碼標簽文本特征，并以這個基本原理為基礎設計了一種算法來通過人機交互生成指定網(wǎng)站的新聞抽取規(guī)則，該方法將抽取的信息存放在關系數(shù)據(jù)庫中，以便支持查詢以及其他各種擴展應用。系統(tǒng)的執(zhí)行過程分為三個階段：信息源定制階段

3、、信息抽取階段和信息管理階段。在信息源定制階段，主要是根據(jù)指定的信息源網(wǎng)站，定義所要抽取的信息的規(guī)則，并保存在數(shù)據(jù)庫中。在信息抽取階段系統(tǒng)根據(jù)信息源定制階段產(chǎn)生的規(guī)則對與之對應的網(wǎng)站新聞進行信息批量抽取，并將抽取出的結果保存在關系數(shù)據(jù)庫中。信息管理階段是通過Web可視化界面對信息抽取階段的結果進行瀏覽編輯處理等處理。基于這種抽取法的原型系統(tǒng)可直接應用于Web查詢、網(wǎng)站監(jiān)控和搜索，也可用于其他應用的數(shù)據(jù)準備。 論文采用此方法，設計