面向新聞領域的文本數(shù)據獲取系統(tǒng)的設計與實現(xiàn).pdf

1、文本的自動分類是在對文本內容分析的基礎上把文本分配給一個或多個預定的類別。在信息如此膨脹和信息源如此多樣的時代，由人工搜索來獲取信息，其操作過程已變得非常繁瑣，其速度和效率極低，信息質量也得不到保證。因此，快速、有效地獲取主題相關信息并進行分類存儲已成為目前信息處理研究的熱點。
　　 本文從信息管理系統(tǒng)的角度介紹了面向新聞領域的文本數(shù)據獲取系統(tǒng)的設計和實現(xiàn)，該系統(tǒng)集成了信息管理與信息獲取。一方面，系統(tǒng)提供了友好的新聞信息的管理界

2、面，另一方面，系統(tǒng)提供了一種新聞文本信息的自動獲取功能，可自動從網絡抓取新聞信息并歸類存儲。本文在研究網絡爬蟲技術、網頁過濾技術，文本表示方法，中文文本分類方法的基礎上，介紹了Web文本新聞信息自動獲取功能的設計和實現(xiàn)。爬蟲程序把從新聞網站抓取的新聞信息以文本的形式保存到本地的存儲器中，然后系統(tǒng)采用特定的網頁內容提取技術從抓取的文本網頁中提取新聞內容，得到新聞的標題和正文信息等，最后使用特定的文本特征提取技術提取新聞的特征信息，并使用基