中文信息過濾技術的研究.pdf

1、近年來，Internet的迅速發(fā)展給人們帶來諸多方便的同時，也帶來了諸如信息過載、信息迷向等很多問題，為了克服這個問題，有必要對Web信息過濾技術進行研究。中文文本信息過濾是中文信息處理的主要方向之一，它根據用戶的需求，在動態(tài)的信息流中搜索用戶感興趣的信息，屏蔽其它無用的信息。為用戶獲取和使用信息提供便利。 網頁文本的提取是進行信息過濾處理的前提。本文對網頁的源碼進行結構和控制符進行了分析，實現了文本提取和中文分詞的程序，使用該

2、程序可以從這些文本中提取關鍵詞形成關鍵詞集合，文檔以這些關鍵詞來表示時，信息的處理就變的簡單了。 目前在數據挖掘的諸多方法中，基于ID3算法的決策樹方法是信息過濾中采用較廣泛的方法。在對ID3算法學習分析研究的基礎上，實現了一個基于ID3算法的決策樹分類程序，該程序可以對中文信息進行有效的分類。此外，該程序還可以從分類數據中提取分類規(guī)則，這些規(guī)則可以根據需要進行增加、刪除和修改。實驗結果表明決策樹分類器確實是一種有效的分類技術。

3、 基于貝葉斯網絡模型的分類是當前數據挖掘領域的一個有實用價值的研究熱點。本文從兩個方面對貝葉斯分類模型進行了研究和程序實現：樸素貝葉斯分類與屬性關聯(lián)貝葉斯分類。雖然樸素貝葉斯網是一種簡單而有效的分類模型，但它的屬性獨立性假設使其無法表達屬性變量間存在的依賴關系，影響了它的分類性能。通過對關鍵詞集合進行分析，根據關鍵詞出現的規(guī)律，提出了一種建立屬性間依賴關系的方案，實現了一個基于屬性關聯(lián)的貝葉斯分類器，并和決策樹、向量空間模型、B