面向文本挖掘的同頻詞統(tǒng)計(jì)規(guī)律及短文本分類方法.pdf

1、隨著移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展，大規(guī)模的數(shù)據(jù)以文本形式快速累積。如何能高效而準(zhǔn)確地對(duì)文本信息進(jìn)行分類引起了人們的高度重視。對(duì)文本分類的研究，無(wú)論是長(zhǎng)文本還是短文本，都極為迫切。
　　關(guān)鍵詞提取是文本分類的重要基礎(chǔ)工作之一。每個(gè)文本中低頻詞的數(shù)量往往占據(jù)著很大的比例，并且這些低頻詞大多為罕見詞和畸形詞或者是與文本主題不相關(guān)的詞語(yǔ)。在對(duì)文本進(jìn)行關(guān)鍵詞提取的過(guò)程中，這些低頻詞的存在大大降低了提取效率。目前，對(duì)于如何處理文本中的低頻詞還沒有一個(gè)

2、有效的可操作標(biāo)準(zhǔn)。論文從研究適合中文文本的同頻詞統(tǒng)計(jì)規(guī)律出發(fā)，將所得的統(tǒng)計(jì)規(guī)律應(yīng)用于文本關(guān)鍵詞提取，有效提高了關(guān)鍵詞提取效率，解決了學(xué)術(shù)界關(guān)心的如何處理中文低頻詞的問(wèn)題，給關(guān)鍵詞提取中處理低頻詞提供了一個(gè)有效的可操作方法。在短文本分類方面，由于短文本內(nèi)容的特征過(guò)于稀疏、詞語(yǔ)歧義性強(qiáng)、新型詞匯層出不窮等特點(diǎn)使得對(duì)短文本的分類效果遠(yuǎn)遠(yuǎn)差于長(zhǎng)文本。如何提高短文本分類的準(zhǔn)確度已經(jīng)成為國(guó)內(nèi)外學(xué)術(shù)界研究的重點(diǎn)和難點(diǎn)之一。論文研究了利用維基百科數(shù)據(jù)庫(kù)

3、資源對(duì)短文本特征進(jìn)行擴(kuò)展、消歧等內(nèi)容，有效提高了短文本分類結(jié)果的查準(zhǔn)率、查全率和F1評(píng)估值。
　　論文的主要工作為:
　　1)對(duì)大量中文文本同頻詞進(jìn)行了統(tǒng)計(jì)，揭示了中文文本中頻次為1的同頻詞數(shù)與不同詞數(shù)的比值變化規(guī)律以及頻次為n的同頻詞數(shù)與頻次為1的同頻詞數(shù)比值的變化規(guī)律。依據(jù)齊普夫定律推導(dǎo)出了適合中文文本的同頻詞數(shù)的數(shù)學(xué)表達(dá)式，能更準(zhǔn)確地表示出不同長(zhǎng)度的文本中各頻次的同頻詞數(shù);借助同頻詞數(shù)的數(shù)學(xué)表達(dá)式，重新確立了中文文本中

4、高頻詞和低頻詞的界分公式，并通過(guò)實(shí)驗(yàn)驗(yàn)證了該公式能夠更好地界分高頻詞和低頻詞。
　　2)提出了基于中文文本同頻詞統(tǒng)計(jì)規(guī)律的關(guān)鍵詞提取方法。給中文文本關(guān)鍵詞提取的過(guò)程中如何處理低頻詞提供了一種理論依據(jù)，實(shí)驗(yàn)驗(yàn)證該方法能夠有效提高關(guān)鍵詞提取效率。在實(shí)際應(yīng)用中，在文本長(zhǎng)度不小于3010詞的前提下，頻次為1和頻次為2的詞不必參與TF-IDF值的計(jì)算，可將計(jì)算效率提高2-7倍，且沒有造成關(guān)鍵詞丟失。
　　3)提出了基于維基百科分類索引