基于機器學習算法的Web文本挖掘應用研究.pdf

1、本論文從熱點信息抽取、Web文本分類、Web文本聚類三方面對機器學習算法在Web文本信息挖掘中的應用與研究進行了深入地分析：
　　 1、實現熱點信息抽取系統時，提出了一種名為熱點算法基礎矩陣(HABM)的技術，其根據對比某單一詞條在一段歷史時期內的詞頻與目前的詞頻，判斷該詞條是否為熱門詞匯。擁有一定數量熱門詞匯的文章便成為熱門文章被抽取出來。
　　 2、Web文本分類系統依據支持向量機(SVM)技術，對LibSVM工具進

2、行二次開發(fā)來實現多類分類。鑒于此工具無法直接處理文字信息，將文字信息轉換為TF-IDF空間向量模型后再做運算。另外還對LibSVM添加了雜質分離的功能。
　　 3、Web文本聚類系統采用了改進版的K-Means聚類算法，包括重新設計了聚類初始中心點的選擇算法、添加了分塊處理數據的能力、新增語料雜質的分離等功能，使得算法在時間和空間上到達到處理大規(guī)模數據的要求。
　　 課題實現了一系列的優(yōu)化技術，包括磁盤散列文件、對象串行