文本挖掘中若干關(guān)鍵問(wèn)題的研究.pdf

1、文本挖掘是指從文本數(shù)據(jù)中獲取可理解的、可用的知識(shí)的過(guò)程，其涉及數(shù)據(jù)挖掘、模式識(shí)別、信息檢索、自然語(yǔ)言處理等多個(gè)領(lǐng)域的內(nèi)容。本文針對(duì)文本挖掘中的若干關(guān)鍵問(wèn)題，例如文本分類(lèi)的特征抽取、聚類(lèi)分析以及查詢(xún)擴(kuò)展等，展開(kāi)了如下的研究： (1)基于鑒別語(yǔ)義分析的文本特征抽取。本文提出一個(gè)適用于高維數(shù)據(jù)的魯棒線(xiàn)性鑒別模型RDM(Robust linear Discriminant analysisModel)。該模型采用正則化方法提高傳統(tǒng)鑒別分

2、析模型的泛化能力，并引入能量自適應(yīng)準(zhǔn)則自動(dòng)選擇正則化參數(shù)，從而避免了復(fù)雜的模型參數(shù)選擇問(wèn)題。在RDM基礎(chǔ)之上，本文提出一種鑒別語(yǔ)義特征抽取DSF(Discriminative Semantic Feature extraction)算法，該算法在文本的潛在語(yǔ)義空間內(nèi)進(jìn)行魯棒鑒別分析，從而抽取出最能體現(xiàn)分類(lèi)信息的語(yǔ)義特征。文本分類(lèi)實(shí)驗(yàn)表明DSF算法性能優(yōu)于常用的線(xiàn)性鑒別分析算法，并且其性能不受潛在語(yǔ)義空間維度大小的影響，從而驗(yàn)證了RDM的

3、魯棒性。 (2)基于局部鑒別索引的文本特征抽取。本文研究面向分類(lèi)的流形建模方法，提出一個(gè)新的文本特征抽取算法一局部鑒別索引LDI(Locality Discriminating Indexing)。該算法用近鄰圖來(lái)描述語(yǔ)義空間中文本類(lèi)內(nèi)的局部鄰近結(jié)構(gòu)，同時(shí)提出入侵圖的概念，并用其自適應(yīng)地描述不同類(lèi)別流形在局部區(qū)域內(nèi)的交疊。LDI算法通過(guò)求解廣義特征值問(wèn)題得到一個(gè)在增強(qiáng)類(lèi)內(nèi)流形結(jié)構(gòu)緊致性的同時(shí)減少不同類(lèi)流形間交疊的最優(yōu)線(xiàn)性子空間。

4、LDI算法成功地使用流形學(xué)習(xí)的思想來(lái)提高文本的類(lèi)別可分性，文本分類(lèi)實(shí)驗(yàn)結(jié)果表明局部鑒別索引算法優(yōu)于其它基于流形學(xué)習(xí)的特征抽取算法。 (3)基于子類(lèi)合并的文本聚類(lèi)。針對(duì)傳統(tǒng)聚類(lèi)算法無(wú)法發(fā)現(xiàn)復(fù)雜文本類(lèi)別結(jié)構(gòu)的不足，本文提出一個(gè)新的自適應(yīng)子類(lèi)合并ASM(Adaptive Subcluster Merging)算法。該算法首先將文本集劃分成若干個(gè)相似粒度的子類(lèi)，而后根據(jù)類(lèi)中心密度大于類(lèi)邊緣密度的假設(shè)將部分子類(lèi)合并，從而得出聚類(lèi)結(jié)果。在合

5、成數(shù)據(jù)和文本數(shù)據(jù)上的聚類(lèi)實(shí)驗(yàn)結(jié)果表明ASM算法的聚類(lèi)有效性明顯優(yōu)于最大方差聚類(lèi)算法，同時(shí)也避免了基于密度聚類(lèi)算法的復(fù)雜的參數(shù)選擇過(guò)程。 (4)基于局部一致和全局平滑假設(shè)的文本半監(jiān)督聚類(lèi)。無(wú)監(jiān)督的聚類(lèi)的結(jié)果很難與數(shù)據(jù)的真實(shí)類(lèi)別結(jié)構(gòu)一致。為了解決這一問(wèn)題，本文提出一種基于局部一致和全局平滑LCGS(Local Consistency and Global Smoothing)的半監(jiān)督聚類(lèi)算法。LCGS算法將已知的少量標(biāo)注信息用一個(gè)約

6、束等式表示，將局部一致和全局平滑思想體現(xiàn)在目標(biāo)函數(shù)中，從而將半監(jiān)督聚類(lèi)問(wèn)題轉(zhuǎn)化為一個(gè)帶約束的二次優(yōu)化問(wèn)題，并最終得到一個(gè)全局最優(yōu)的聚類(lèi)結(jié)果。在文本數(shù)據(jù)上的實(shí)驗(yàn)表明當(dāng)標(biāo)注數(shù)據(jù)僅占數(shù)據(jù)總量的2％時(shí)，ICGS算法的聚類(lèi)有效性就可比無(wú)監(jiān)督聚類(lèi)算法高60％。 (5)融合詞語(yǔ)相關(guān)性與語(yǔ)義相似度的查詢(xún)擴(kuò)展。在文本檢索系統(tǒng)中，查詢(xún)短小和查詢(xún)?cè)~與索引詞不匹配現(xiàn)象會(huì)降低系統(tǒng)的檢索精度。為了解決這個(gè)問(wèn)題，本文首先提出一種基于全局分析GA(Global

7、 Analysis)的查詢(xún)擴(kuò)展算法。GA算法通過(guò)統(tǒng)計(jì)語(yǔ)料集中詞對(duì)的互信息和距離得到索引詞間的相關(guān)性，從而擴(kuò)展出與原始查詢(xún)最為相關(guān)的詞。而后，本文將統(tǒng)計(jì)分析得出的詞語(yǔ)相關(guān)性與通過(guò)知識(shí)庫(kù)--《知網(wǎng)》得到的語(yǔ)義相似度融合，提出基于相關(guān)性和相似度融合RSI(Relevance and Similarity Intergrating)的擴(kuò)展算法，從而確保擴(kuò)展詞不僅與查詢(xún)相關(guān)并且與查詢(xún)的主旨相近。實(shí)驗(yàn)結(jié)果表明GA算法的性能優(yōu)于局部偽反饋算法，而RS