面向詞袋模型的相似性度量方法在特征降維中的應用.pdf

1、詞袋模型是一種向量空間模型，在此模型中，文本或圖像被視作是無序的詞匯集合，其中語法以及詞匯之間的順序關(guān)系都是被忽略的。通過選擇或設(shè)計合適的相似性度量函數(shù)，詞袋模型可以被廣泛應用于文本、圖像的分類、聚類及檢索問題中。經(jīng)過大量的研究工作，目前已經(jīng)總結(jié)出多種常見且有效的相似性度量方法，包括歐幾里得距離、余弦相似度、Manhattan距離以及Mahalanobis距離等。然而，文本和圖像問題的詞袋模型，往往具有高維度、特征冗余、一義多詞、一詞多

2、義等特點，這將增加處理詞袋模型時的計算復雜度，并對學習算法的精度造成干擾。
　　本文采用一種有監(jiān)督的學習方法，將詞袋模型中的詞語特征項聚合成詞簇，通過將原始詞語空間上的表達轉(zhuǎn)變?yōu)樾碌脑~簇空間上的表達，進而影響文本或圖像樣本相似性匹配度的計算，達到消除一義多詞的負面影響的作用。該方法的具體思路是:首先采用類條件概率分布描述詞項的分布規(guī)律，并使用Jensen-Shannon散度刻畫這些分布之間的相關(guān)性即詞語項之間的相似度。在此基礎(chǔ)上設(shè)

3、計了一種將近義詞項進行重組合并成新詞簇的WCE算法，并采用一種有監(jiān)督的損失函數(shù)評價模型對WCE算法產(chǎn)生的新詞簇集進行評估。該評價模型中的損失函數(shù)和對應的相似性度量方法的選擇和設(shè)計具有很大的靈活性。算法最終輸出損失函數(shù)的近似最優(yōu)解以及相應的詞簇特征集，從而達到降維的目的。
　　實驗部分從檢索和分類兩個方面驗證了本文的詞語降維算法的有效性及合理性。通過實驗發(fā)現(xiàn)，對于不同的數(shù)據(jù)集，該算法的降維效果以及降維結(jié)果對檢索效果和分類精度的提升程