云模型在文本挖掘應用中的關鍵問題研究.pdf

1、文本挖掘(Text Mining,簡稱TM)是以文本信息作為挖掘對象,從中尋找信息的結構、模型、模式等隱含的、具有潛在價值知識的過程。TM在信息檢索、模式識別、自然語言處理等等多個領域均有所涉及。由于文本是信息存儲的最主要途徑,因此TM的重要性也日益凸顯。
　　 在目前TM的研究中,傳統(tǒng)的數(shù)據(jù)挖掘方法依然占據(jù)著主導地位。然而隨著TM技術研究的進一步深入,將傳統(tǒng)的數(shù)據(jù)挖掘方法應用于TM面臨著越來越嚴峻的挑戰(zhàn)。例如文本對象的高維稀疏

2、性、算法復雜度過高及需要先驗知識等等問題,已經(jīng)嚴重阻礙了TM技術的推廣應用。
　　 TM面臨的這些難題歸根到底都是由于自然語言的不確定性造成的。自然語言中(尤其是文本語言)的不確定性,本質上來源于人腦思維的不確定性。這種不確定性使得人們具有更為豐富的理解空間與更為深入的認知能力,然而隨之而來也形成了TM的眾多難題。因此,若能從降低自然語言的復雜性入手,在充分利用現(xiàn)有技術的基礎上勇于創(chuàng)新,探索出適用于TM的不確定性人工智能處理方法

3、,將會大大促進TM技術的快速發(fā)展。
　　 借助不確定性知識研究的重要工具——云模型在定性概念與定量數(shù)據(jù)間的轉換作用,作者將云理論引入TM關鍵問題研究當中。用以拋磚引玉,為TM技術的進一步發(fā)展提供一種新的思路與解決方法。本文的主要內容如下:
　　 ①云模型在TM中的理論擴充。
　　 對文本知識表示以及相應模型的物理空間轉換方法、文本概念的相似性度量進行了研究,為云模型的引入打好理論基礎。包含以下三個方面內容:

4、>　　 1)基于VSM的文本信息表。將知識表示中信息表的概念引入文本表示,在VSM模型基礎上將文本系統(tǒng)用文本信息表來進行知識表示。
　　 2)基于云模型的文本信息表轉換。文本間的不確定性關系可以通過云模型進行概念表示,但前提是各屬性的取值須處于相同的論域內。也就是說文本在不同屬性上的值都有必須具有同一物理含義。未處理的文本信息表屬性含義不統(tǒng)一并且取值也差異較大。因此,在利用云模型進行數(shù)據(jù)挖掘前,必須將文本信息表進行轉換。在概率

5、統(tǒng)計方法的基礎上,本文提出一種新的文本信息表轉換方法。通過該方法,文本信息表由不同屬性空間轉換成同一物理空間中,體現(xiàn)了屬性取值的概率分布。
　　 3)基于云相似度的文本云相似度量。目前TM中一般使用余弦相似度來衡量文檔之間的相關性,但目前無論哪一種相似度度量方法均是以基于對象屬性之間的嚴格匹配進行計算,而對文本對象的整體性考慮不足。結合TM中文本對象的整體性質與個體特點考慮,本文提出了基于云向量數(shù)字特征的云相似度。用云向量的數(shù)字

6、特征來對文本進行整體刻畫,文本間的相似即可轉換為云向量之間的相似進行度量。此相似度不僅能快速提高挖掘性能,找出對象間的共性特點,而且能充分考慮到屬性值的隨機性與模糊性。
　　 ②基于云模型的文本特征自動提取算法。
　　 特征選擇是文本特征降維的一種有效方法?，F(xiàn)有選擇尺度的確定均通過實驗驗證得到,即基于經(jīng)驗的方法。在綜合考慮文本特征整體與局部分布基礎上,提出了一種高性能的文本特征自動提取算法。算法應用云隸屬度對特征分布進行

7、修正,在不需任何先驗知識的條件下通過云隸屬度大小來對特征權值進行刻畫并完成特征的選擇,充分體現(xiàn)了特征的概率分布特點。通過橫向實驗對比與結果分析,顯示出該特征集不僅特征個數(shù)較少,而且分類精度較高,在性能上領先于主要的一些特征選擇方法。
　　 ③基于云概念躍升的文本分類算法。
　　 云模型對定性知識表示、定性定量知識轉換具有較好的處理能力。在此基礎上,利用云模型中的概念抽取方法來進行文本分類應用。在將文本集轉換為基于vSM模

8、型的文本知識表的基礎上,對訓練集中相同類別文檔的定性概念進行躍升。根據(jù)測試文本與各類別定性概念之間云相似度的大小決定測試文本所屬類別。通過在不同特征提取方法下與不同分類器的性能對比,證明該算法不僅具有較強的特征適應能力,在分類性能上也優(yōu)于主流的分類器。
　　 ④基于云相似度量的快速無監(jiān)督文本聚類。
　　 針對目前文本聚類算法存在的問題,提出了一種基于云相似度量的快速無監(jiān)督文本聚類算法。該算法以特征自動提取算法為基礎,在k