網(wǎng)絡(luò)信息采集及智能處理技術(shù)研究.pdf

1、無論是科研還是學(xué)習(xí)人們都需要通過網(wǎng)絡(luò)去尋找最新的專業(yè)信息和新聞動態(tài)，但信息的爆炸式增長，也讓人們越來越難以從信息海洋中快速獲取所需信息。一方面是因為網(wǎng)絡(luò)信息量與日俱增，且更新速度非?？欤枰度氪罅康臅r間進行信息的搜索；另一方面，網(wǎng)絡(luò)上的信息存在大量重復(fù)的現(xiàn)象，且格式非常不規(guī)范，更加大了用戶搜尋信息的難度。因此，對網(wǎng)絡(luò)信息進行快速采集和智能處理的技術(shù)應(yīng)運而生。
　　 用戶可以通過搜索引擎檢索出大量信息，卻不能對信息進行提取、組織

2、和處理，隨著信息化的進步，人們對獲取信息的要求越來越高，信息搜索也從“通用”進入“個性和智能”。目前市面上已經(jīng)出現(xiàn)了很多信息采集的工具，這些工具可以在一定程度上滿足用戶獲取信息的需求，但是對信息的處理卻不盡人意。由于文本信息占據(jù)網(wǎng)絡(luò)中信息的大部分，因此如何自動地分類網(wǎng)絡(luò)中的文本信息成為信息處理的重中之重。
　　 本論文在分析現(xiàn)有信息采集和信息處理技術(shù)的基礎(chǔ)上，首先對網(wǎng)頁抓取工具網(wǎng)絡(luò)爬蟲進行介紹，分析其采集網(wǎng)頁信息的原理及網(wǎng)頁去重

3、和信息抽取的方法；然后對智能信息處理中的文本分類這一關(guān)鍵技術(shù)進行了深入研究，改進了現(xiàn)有的特征選擇方法和分類算法，并采用改進的KNN算法構(gòu)造了一個文本自動分類器，將搜狗語料庫作分類模型的訓(xùn)練語料庫，通過實驗訓(xùn)練出適應(yīng)于該語料庫的最佳K值和特征維數(shù)，同時驗證了改進的KNN算法的分類效果。
　　 本論文的創(chuàng)新之處是：
　　 (1)對文本信息處理中的特征選擇方法進行了改進，提出了同義詞合并的思想，引入《同義詞詞林》，在特征選擇之

4、前先對特征項中的同義詞進行替換、統(tǒng)計，有效降低了特征空間的維數(shù)。
　　 (2)提出了一種改進的KNN算法，通過引入類中心向量對相似度計算公式進行了改進，將待分類的測試文本與類別的距離作為參數(shù)加入到KNN算法的相似度計算公式中，把兩個文本中都出現(xiàn)的特征項數(shù)量與各自出現(xiàn)的特征項數(shù)量的最大值的比值作為相似度公式的調(diào)節(jié)因子。
　　 (3)結(jié)合改進的KNN算法，構(gòu)造一個文本自動分類器，在分類階段優(yōu)先考慮待分類的測試文本與各類別之間