基于文本挖掘的企業(yè)情報自動分類系統(tǒng)研究與應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)社會的快速發(fā)展，企業(yè)面臨著采集和處理海量的非結(jié)構(gòu)化情報信息的問題，情報分類是一種重要的管理手段，傳統(tǒng)的人工分類的情報管理模式，既耗費人力，又效率不高。本文提出了一種基于文本挖掘技術(shù)的企業(yè)情報自動分類方法，以提升企業(yè)情報分類的效率。
　　本文在研究多種文本分類技術(shù)的基礎(chǔ)上，以支持向量機(SVM)為情報分類的主要算法，針對網(wǎng)絡(luò)化的情報采集帶來的樣本分布不平衡問題，以及SVM分類器在超平面附近分類效果不太好的情況，輔以KNN算

2、法，即選擇K個情報樣本代替1個情報樣本來進行分類，以提高整體的分類效果。
　　本文首先針對企業(yè)情報的非結(jié)構(gòu)化特點，對企業(yè)情報進行文本預(yù)處理，即對企業(yè)情報數(shù)據(jù)進行分詞、去停用詞等處理，并對預(yù)處理后的結(jié)果進行詞頻、文檔頻率等相關(guān)統(tǒng)計計算。同時，考慮到網(wǎng)絡(luò)采集得到的企業(yè)情報可能存在的數(shù)據(jù)不平衡問題，在特征選擇方法中，采用了信息增益的方法，引入了兩個具有較強類別表征能力的參數(shù)—分散度和集中度，用于特征詞表的降維，得到對分類貢獻度更高的特征

3、詞，構(gòu)造了企業(yè)情報的特征向量。本文以默認的懲罰因子c以及相關(guān)的核函數(shù)參數(shù)進行實驗，對4種常用的核函數(shù)進行試算，確定了采用徑向基核函數(shù)，并通過網(wǎng)格搜索法和5折交叉檢驗法，尋找出最優(yōu)的核參數(shù)g。在此基礎(chǔ)上，經(jīng)過訓(xùn)練得到了SVM情報分類器。將SVM分類器的支持向量來作為KNN分類器的訓(xùn)練樣本，同時考慮到網(wǎng)絡(luò)采集得到的企業(yè)情報可能存在的數(shù)據(jù)不平衡問題，在KNN分類器中引入一個權(quán)重因子，用于調(diào)節(jié)各類別之間的權(quán)重，并通過實驗確定KNN分類器的K取值