文本分類的屬性選擇與多標記轉(zhuǎn)換方法研究.pdf

1、隨著信息技術的迅速發(fā)展和普及,文本信息呈現(xiàn)爆炸式增長趨勢.海量的文本信息使人們迫切需要文本分類技術來節(jié)約人力與財力,提高分類效率.因此,文本分類技術成為一項日趨重要的研究課題.本文的研究目的是提升文本分類的效果.為了實現(xiàn)這個研究目的,本文從屬性選擇及多標記轉(zhuǎn)換方法兩個方面展開了深入的研究,取得了一些研究成果.
　　 首先,本文對文本分類問題所涉及到的分詞處理、特征表示、特征提取、分類算法、性能評價等5個相關步驟進行了技術上的綜述

2、,并通過系統(tǒng)設計與實現(xiàn)闡述了文本分類的整個過程.在此研究基礎上,對屬性選擇和多標記指派模型分別展開了深入的研究.
　　 其次,對于屬性選擇問題,通過研究和實驗指出了現(xiàn)有屬性選擇算法的不足,利用限制文檔分布率過濾了高頻噪聲詞,并提出了將詞頻與文檔頻率相結(jié)合的綜合評價策略.基于文檔頻率、信息增益、互信息、x2估計法等屬性選擇方法,利用所提出的綜合評價策略進行了改進,通過對比實驗分別驗證了使用所改進的4種屬性選擇方法比原始方法可以獲得

3、更好的分類效果.
　　 第三,多標記分類是文本分類領域中重要與復雜的問題.本文深入研究了多標記文本分類建模和學習方式,并對各種多標記轉(zhuǎn)換方法進行了分析與比較,針對它們存在的問題,提出了一種基于標記分布的多標記指派模型.其不僅保證了指派模型不丟棄有價值的訓練樣本,而且能夠較好地平衡各個類別樣本的權(quán)重.通過對比實驗,驗證了利用改進后的多標記指派模型比目前已有的5種指派模型可以獲得更好的分類效果.
　　 實驗表明,利用本文提出