文本挖掘的若干關(guān)鍵算法研究.pdf

1、文本挖掘是一個非?；钴S的研究領(lǐng)域，是數(shù)據(jù)挖掘領(lǐng)域的一個重要分支。文本挖掘采用了很多傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)，但又有自己的特性。本文試圖采用支持向量機，流形學(xué)習(xí)與圖論等理論，以網(wǎng)絡(luò)文本為研究對象，全面開展文本分類、聚類、壓縮、可視化及排序等方面的算法研究。全文的主要工作包括以下幾個方面：
　　 1）在定理證明的基礎(chǔ)上，提出一種連分式Mercer核，它可以方便地應(yīng)用于支持向量分類機和其它支持向量機算法。在5個UCI數(shù)據(jù)庫實驗中取得了比傳統(tǒng)

2、核支持向量機更好的綜合水平，而且它還可以方便地被用于合成復(fù)雜核，將此連分式核的支持向量機應(yīng)用到網(wǎng)絡(luò)文本分類中，提高了網(wǎng)絡(luò)文本分類正確率。
　　 2）提出了兩個判別性的特征提取方法– 判別性PCA和判別性KPCA。基于PCA和MMC理論，構(gòu)造了一個多目標規(guī)劃模型作為特征提取的目標。隨后，該模型被轉(zhuǎn)化成一個單目標規(guī)劃問題并通過特征分解的方法求解。此外，將一個近似分塊對角核矩陣K分成c個小矩陣并求出它們的特征值和特征向量，在此基礎(chǔ)上，

3、通過張量代數(shù)處理得到一種映射矩陣V，核矩陣投影到V上后能最大程度上保持同類樣本間的相似信息，同時還能讓類間距離變得更大。
　　 3）提出了一種新的基于支持向量回歸的偏好學(xué)習(xí)算法。它克服了偏好學(xué)習(xí)不一致問題并改善了排序的泛化能力。同時，WMW統(tǒng)計量被引入以評價算法的排序表現(xiàn)。在一個人工數(shù)據(jù)集和幾個基準數(shù)據(jù)集上的實驗顯示了方法的有效性。最后，該方法還被應(yīng)用到網(wǎng)絡(luò)搜索系統(tǒng)的排序問題中，獲得了較高的排序準確率。
　　 4）共享最

4、近鄰（SNN）相似度是一種新的相似性度量，它能克服樣本間相似性低和類密度差異大的問題。目前，基于SNN相似度的聚類算法有JP聚類和基于SNN密度聚類兩種。它們的聚類結(jié)果完全依賴于單鏈的強度，因而算法非常脆弱。引入計算幾何學(xué)中的光滑拼接思想，設(shè)計了一種新的基于SNN相似度的光滑拼接聚類算法。它內(nèi)含強度-光滑度互補機制，相比已有的兩種算法，該算法的泛化能力較高。在公開的文本數(shù)據(jù)集上做比較實驗，結(jié)果顯示，該算法在多個類別上取得了最高的聚類準確

5、率和召回率。
　　 5）針對互聯(lián)網(wǎng)開放性、層次性、演化性、巨量性等本質(zhì)特性，從復(fù)雜自適應(yīng)系統(tǒng)這一全新的角度,以農(nóng)業(yè)垂直搜索為應(yīng)用背景,提出一種新的復(fù)雜自適應(yīng)搜索模型。該搜索模型的主要特點是通過建立信息采集、分類、清洗與服務(wù)智能體聯(lián)盟，組成多智能體實驗環(huán)境；通過建立模型的學(xué)習(xí)機制與進化機制，改善搜索模型對網(wǎng)絡(luò)環(huán)境的動態(tài)適應(yīng)能力。經(jīng)過與現(xiàn)有主流搜索引擎的比較實驗發(fā)現(xiàn)，它在查準率方面具有明顯的優(yōu)勢。同時，由于該搜索模型具備通用的結(jié)構(gòu)體