中文文本層次分類(lèi)方法研究及應(yīng)用.pdf

1、伴隨著網(wǎng)絡(luò)的迅猛發(fā)展，人們要接受的信息數(shù)量也成幾何級(jí)數(shù)的增長(zhǎng)。面對(duì)Internet中海量的、紛繁蕪雜的信息，如文本信息、聲音信息、視頻信息等等，如何快速有效的獲取信息知識(shí)，并且能按照某種特定的結(jié)構(gòu)模型進(jìn)行有序化的整理，這無(wú)疑是一個(gè)很重要的課題。信息處理技術(shù)的目的就是從雜亂的信息中發(fā)掘最有效的信息，經(jīng)過(guò)十幾年的長(zhǎng)足發(fā)展，信息處理技術(shù)已取得了較大的進(jìn)步。文本分類(lèi)技術(shù)的任務(wù)就是基于文本內(nèi)容，從給定的類(lèi)別集中找出一個(gè)或多個(gè)相似的文本類(lèi)別，指定于

2、待分類(lèi)文本，目前常用的方法是基于機(jī)器學(xué)習(xí)和概率統(tǒng)計(jì)的文本分類(lèi)方法。
　　在現(xiàn)實(shí)的分類(lèi)體系中，類(lèi)別具有多層次的組織結(jié)構(gòu)模式，而傳統(tǒng)的文本分類(lèi)思想恰恰忽略了對(duì)層次的考慮。概念層次樹(shù)的構(gòu)建，為用戶(hù)提供了可視化瀏覽及搜索的操作功能，同時(shí)體現(xiàn)了文本庫(kù)中文本間的語(yǔ)義聯(lián)系。層次分類(lèi)的核心思想是“分塊而治”，分類(lèi)過(guò)程從根節(jié)點(diǎn)開(kāi)始，將待分類(lèi)文本與各級(jí)節(jié)點(diǎn)進(jìn)行比較，劃分到最相似的一個(gè)或幾個(gè)分類(lèi)樹(shù)節(jié)點(diǎn)下，最終當(dāng)?shù)竭_(dá)葉子節(jié)點(diǎn)時(shí)分類(lèi)過(guò)程結(jié)束。
　　文

3、本分類(lèi)技術(shù)經(jīng)歷了從基于規(guī)則到基于統(tǒng)計(jì)，再到如今規(guī)則與統(tǒng)計(jì)相結(jié)合的研究發(fā)展過(guò)程。其中向量空間模型是較為常用的數(shù)學(xué)模型，該模型將詞條表示為特征向量，由特征向量表征文檔，但該模型只關(guān)注了詞形結(jié)構(gòu)，忽略了詞義聯(lián)系。本文利用潛在語(yǔ)義索引和隱馬爾可夫模型等方法，充分利用了文本中隱含語(yǔ)義信息，并依此實(shí)現(xiàn)文本層次分類(lèi)，本文主要研究?jī)?nèi)容包含以下幾個(gè)方面:
　　(1)介紹了層次文本分類(lèi)技術(shù)的基本方法和關(guān)鍵技術(shù)，并參考分析了國(guó)內(nèi)外相關(guān)工作的研究進(jìn)展，指

4、出在文本層次分類(lèi)應(yīng)用中的不足，目前常用的分類(lèi)法缺少對(duì)文本語(yǔ)義信息的考慮，并且分類(lèi)性能受噪聲影響較大，今后的研究應(yīng)該更注重文本的語(yǔ)義聯(lián)系。
　　(2)提出了基于潛在語(yǔ)義的文本層次分類(lèi)法。在以層次結(jié)構(gòu)表示的文本類(lèi)別中，每一個(gè)類(lèi)別就是一個(gè)主題。在文本分類(lèi)過(guò)程中，包含主題類(lèi)別的詞條比其它詞條更為重要。本文就提出使用Gibbs抽樣的方法，來(lái)抽取一系列的概率主題類(lèi)別標(biāo)簽，文本就由這些概率主題來(lái)表示，然后將主題類(lèi)別標(biāo)簽運(yùn)用于潛在語(yǔ)義分類(lèi)模型的構(gòu)

5、建。本文提出的基于潛在語(yǔ)義索引的模型，探索了主題標(biāo)簽在層次文本分類(lèi)中的作用。實(shí)驗(yàn)結(jié)果表明，該方法有效的提高了分類(lèi)精度。
　　(3)提出了基于改進(jìn)隱馬爾可夫的文本分類(lèi)過(guò)程。在層次文本分類(lèi)中，主題類(lèi)別是按照預(yù)定的層次關(guān)系進(jìn)行劃分的。通過(guò)主題類(lèi)別的劃分就是要將分類(lèi)任務(wù)細(xì)化為小的子問(wèn)題，然后對(duì)每個(gè)主題類(lèi)別構(gòu)建一個(gè)分類(lèi)器，最后通過(guò)這些子分類(lèi)器將待分類(lèi)文本分到層次結(jié)構(gòu)中相應(yīng)的類(lèi)別。在樹(shù)形結(jié)構(gòu)中，待分類(lèi)文檔只與某主題類(lèi)別節(jié)點(diǎn)下的文檔比較，只是在