基于特征提取的文本相似性判別方法研究與應用.pdf

1、隨著網(wǎng)絡技術的飛速發(fā)展和計算機性能的不斷提高，機械化生產、網(wǎng)絡辦公和網(wǎng)上娛樂等各種工業(yè)和生活應用得到快速普及，積累了大量的歷史數(shù)據(jù)。這些看似簡單的實時存儲信息，蘊藏著許多具有指導意義的未知知識，充分利用好這些數(shù)據(jù)的潛在價值能夠有效幫助企業(yè)提高辦公效率、節(jié)約生產成本、實現(xiàn)利益最大化。近年來信息處理技術不斷走向成熟，一些改進的文本挖掘方法、特征提取方法和相似性判別算法被許多學者提出，并取得一定成果。但這些方法基本都是針對特定應用領域開展的研

2、究實現(xiàn)，應用范圍相對較小，尤其是在中文信息處理領域，限于中文語言特點，一種算法在另一領域應用的適應性比較差，新應用需要研究新的方法達成基本目標。針對目前信息處理算法的局限性，本文提出了基于多種特征屬性提取的文本相似性判別思想。
　　 基于多特征的文本相似性判別方法是在傳統(tǒng)中文信息處理技術的基礎上，通過提取文本詞條的多種特征屬性，針對待處理文本的數(shù)據(jù)結構和領域應用特點，抽取合適的特征值進行的中文文本的相似性判別，對于提高判定結果的

3、準確性和方法的靈活適應性具有重要意義。
　　 本文研究了目前提出的各種經典特征提取方法和相似性計算模型，結合文本的結構特點，基于詞頻屬性分析了部分特征提取方法在相似性判別中的作用?；诙嗵卣魈崛〉念I域主題詞表生成和相似性判別是本文的研究核心，通過研究數(shù)據(jù)的結構特點，針對詞條和文本的分布屬性，本文提出了詞頻分布熵和文本分布熵兩種新的特征提取方法;結合TF-IDF特征屬性、Pearson相關系數(shù)和詞條分布權值等特征提取方法，研究提出

4、了用于規(guī)范化表示文本多特征屬性內容的二維特征集合;設計了領域主題詞表構成和文本相似性判別的總體架構和工作流程，以經濟領域為例，實現(xiàn)了領域主題詞表的構成，并進行了相似性判別實驗，驗證了多特征屬性提取判別方法的有效性。
　　 基于多特征屬性提取的文本相似性判別方法基本滿足中文信息處理技術的普適性要求，為企業(yè)開發(fā)不同領域應用提供了靈活的計算手段，能夠進一步提高信息處理的應用效果，為企業(yè)節(jié)省開發(fā)成本。因此，基于多特征提取的文本相似性判別