基于改進(jìn)詞語權(quán)重的文本分類方法研究.pdf

1、信息科技飛速發(fā)展的今天,互聯(lián)網(wǎng)技術(shù)也得到了迅猛發(fā)展,電子文檔的數(shù)量呈現(xiàn)了指數(shù)級增長,海量信息為用戶提供方便的同時,也給用戶獲取有用信息帶來了不便。如何有效地幫助用戶查找、組織和管理這些信息,并且快速、準(zhǔn)確地找到用戶所需的有用信息已成為當(dāng)今研究的重要課題。正是在這樣的背景之下,基于機(jī)器學(xué)習(xí)的文本分類方法逐漸成為一個日益重要的研究領(lǐng)域。
　　 文本分類是信息檢索與數(shù)據(jù)挖掘領(lǐng)域的研究熱點(diǎn)與核心技術(shù),近年來得到了廣泛的關(guān)注和快速的發(fā)展。

2、文本分類系統(tǒng)能夠在給定的分類模型下,根據(jù)文本的內(nèi)容對文本進(jìn)行分類,從而更好地幫助人們組織和挖掘文本信息,因此成為信息處理領(lǐng)域最重要的研究方向之一,具有較大的發(fā)展?jié)摿?。文本分類具有很大的實用價值,它在信息檢索和信息過濾等方面有著廣泛的應(yīng)用,極大地提高了信息的使用效率。
　　 本文研究的重點(diǎn)是通過改進(jìn)傳統(tǒng)的詞語權(quán)重計算方法來提高文本分類精度。在對傳統(tǒng)的基于詞語權(quán)重的文本分類方法作了深入研究的基礎(chǔ)上,改進(jìn)傳統(tǒng)的詞語加權(quán)方法一tf-id

3、f方法,得到一種新的詞語加權(quán)方法。傳統(tǒng)的詞語加權(quán)方法只考慮tf(詞頻)、idf(反文檔頻率)兩方面,并且簡單地認(rèn)為低頻詞比高頻詞重要,所以,往往把稀有詞賦予較高的權(quán)值,但在實際當(dāng)中,稀有詞幾乎不能作為文本的特征來表示文本。為了彌補(bǔ)這個缺點(diǎn),本文提出了新的計算詞語權(quán)重的方法,來提高分類的效率和精度。并通過實驗驗證了該方法的可行性和高效性。
　　 實驗表明,本文提出的改進(jìn)詞語權(quán)重的計算方法,在數(shù)據(jù)集Reuters-21578上使用K