基于統(tǒng)計(jì)語言模型的中文自動文本分類系統(tǒng).pdf

1、信息時(shí)代的到來，Imemet上出現(xiàn)了爆炸式增長的信息資源。為了讓人們能夠駕馭信息，而不是被信息所淹沒，需要有一種方法來對信息資源進(jìn)行分類管理。面對這項(xiàng)讓傳統(tǒng)的領(lǐng)域?qū)＜以僖膊荒軌騽偃蔚娜蝿?wù)，自動文本分類技術(shù)的出現(xiàn)讓人們看到了希望。在我國信息化大潮洶涌澎湃的今天，亟需開發(fā)適合中文的自動文本分類系統(tǒng)。本文就中文自動文本分類系統(tǒng)進(jìn)行了一些研究。 研究的主要內(nèi)容包括： 1．基于N-gram的模型的中文文本表示。對主流的文本表示模型

2、進(jìn)行了分析比較；研究了N．gr鋤模型的參數(shù)N選取、平滑算法、特征選擇算法等內(nèi)容。 2．中文自動文本分類系統(tǒng)的結(jié)構(gòu)。對系統(tǒng)的各個(gè)功能進(jìn)行討論，對系統(tǒng)的核心功能分類器進(jìn)行了詳細(xì)論述。本文選擇了一種鏈狀樸素貝葉斯分類器，這種分類器通過與N-gram模型相結(jié)合，弱化N-gram模型的獨(dú)立性假設(shè)。實(shí)驗(yàn)表明，這種方法能夠取得良好的分類效果。 3.中文自動文本分類系統(tǒng)的實(shí)現(xiàn)。給出了系統(tǒng)關(guān)鍵類的設(shè)計(jì)，并對某些關(guān)鍵點(diǎn)進(jìn)行了展開；總結(jié)了開發(fā)

3、過程中采用的主要軟件開發(fā)技術(shù)；提供了系統(tǒng)的截圖。 4．通過實(shí)驗(yàn)研究了語料庫對分類系統(tǒng)的影響。通過建立不同的語料庫、對語料庫進(jìn)行調(diào)整等方法，對語料庫的規(guī)模與質(zhì)量對分類系統(tǒng)的影響進(jìn)行了研究。實(shí)驗(yàn)結(jié)果給出了語料庫所要遵循的標(biāo)準(zhǔn)。 論文的組織如下：首先指出了本研究的意義，介紹了該領(lǐng)域研究的發(fā)展概況；隨后在第二章和第三章對統(tǒng)計(jì)語言模型、文本分類系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)及若干關(guān)鍵問題進(jìn)行了闡述；第四章在前面的基礎(chǔ)上給出了系統(tǒng)實(shí)現(xiàn)，對系統(tǒng)實(shí)現(xiàn)過