面向文本分類的文本特征學(xué)習(xí)技術(shù)研究.pdf

1、面對互聯(lián)網(wǎng)上文檔資源日益豐富的情況，文本分類旨在自動對文檔歸類，使人們便于收集和管理各種文檔，因此文本分類具有廣泛的應(yīng)用背景和較高的實用價值。但是，現(xiàn)存文本分類系統(tǒng)仍然存在很多問題。 本文研究工作緊緊的圍繞文本特征學(xué)習(xí)，從不同方面展開文本特征的自動學(xué)習(xí)。作者在前人工作的基礎(chǔ)上提出一些新的處理技術(shù)和模型，取得一些研究成果。主要創(chuàng)新點包括： ●提出一種自動學(xué)習(xí)領(lǐng)域關(guān)聯(lián)詞的算法，并把學(xué)習(xí)到的領(lǐng)域關(guān)聯(lián)詞用作文本特征，構(gòu)造一個無指

2、導(dǎo)的文本分類系統(tǒng)。該算法應(yīng)用Bootsrapping的學(xué)習(xí)框架，從大規(guī)模的無標注文本語料中，計算候選詞和領(lǐng)域種子詞集的關(guān)聯(lián)度，從中選取關(guān)聯(lián)度大的詞做為新的領(lǐng)域關(guān)聯(lián)詞。該算法輸入是大規(guī)模的無標注文本語料和少量種子詞。接著，把領(lǐng)域關(guān)聯(lián)詞用作文本特征，構(gòu)造一個無指導(dǎo)的文本分類系統(tǒng)。該文本分類系統(tǒng)不用任何的人工標注分類語料，只需要每個類別手工構(gòu)造少量的種子詞(3-10個)。通過這個算法，我們可以在新的分類體系中很快構(gòu)建出新的文本分類系統(tǒng)。

3、 ●提出一種弱指導(dǎo)的文本分類系統(tǒng)的構(gòu)建方法，該方法使用大規(guī)模無標注語料來改善分類器的訓(xùn)練效果。訓(xùn)練過程：首先，使用小標注語料來訓(xùn)練初始最大熵分類器；用訓(xùn)練好的最大熵分類器對無標注文本語料進行類別標注，從中選擇置信度高的文檔作為下一輪訓(xùn)練時的訓(xùn)練語料；再次訓(xùn)練分類器；如此循環(huán)訓(xùn)練、標注，直到學(xué)習(xí)結(jié)束。也就是利用大規(guī)模的無標注文本語料，來改善基于小標注訓(xùn)練集的最大熵模型分類器訓(xùn)練效果。 ●提出一種基于全局信息的詞聚類模型-glob

4、alCM。在聚類過程中，該模型充分利用當(dāng)前所有簇的信息來參與相似度的計算，克服了舊有模型只考慮相關(guān)的兩個簇信息造成聚類效果差的問題。實驗表明，globalCM的詞聚類效果優(yōu)于傳統(tǒng)的聚類方法。然后，把學(xué)習(xí)的詞簇用作文本特征，構(gòu)建一個基于詞簇文本特征的分類系統(tǒng)。實驗結(jié)果表明，基于詞簇文本特征表示具有明顯的降維效果，和基于詞特征的特征選取方法相比，降維幅度大約為100位。 ●提出一種基于Ontology的領(lǐng)域知識庫構(gòu)建方法。首先，給出

5、兩個基本概念定義：領(lǐng)域關(guān)聯(lián)詞和領(lǐng)域特征屬性。接著，采用框架表示法來表示領(lǐng)域知識。最后，詳細描述了東北大學(xué)自然語言處理實驗室領(lǐng)域知識庫的構(gòu)建方法，并給出一個實際構(gòu)建“軍事”領(lǐng)域知識庫的例子。 ●提出把領(lǐng)域知識庫用于文本特征表示的兩種方法。第一種表示：用領(lǐng)域知識庫中的領(lǐng)域關(guān)聯(lián)詞作為文本特征；第二種表示：用領(lǐng)域知識庫中的領(lǐng)域特征屬性作為文本特征。實驗結(jié)果表明，用領(lǐng)域關(guān)聯(lián)詞作為文本特征，有助于增強文本特征的表達能力。 ●提出一個

6、自劃分學(xué)習(xí)模型，以解決領(lǐng)域知識庫覆蓋度不足的問題。該模型結(jié)合Bootsrapping學(xué)習(xí)框架和globalCM模型，按照領(lǐng)域知識庫的結(jié)構(gòu)，自動把候選詞劃分到相關(guān)領(lǐng)域中。文中把學(xué)習(xí)結(jié)果用于文本特征表示。實驗結(jié)果表明，這種學(xué)習(xí)模型可以進一步提高領(lǐng)域知識庫在文本分類中的作用。 ●提出一個領(lǐng)域知識庫的半自動構(gòu)建模型。采用上述的自劃分學(xué)習(xí)模型，學(xué)習(xí)出新的領(lǐng)域關(guān)聯(lián)詞，構(gòu)成一個候選集，提供給領(lǐng)域知識專家作為選擇對象。然后，專家從中選取合適的領(lǐng)