基于粗糙集理論的文本自動分類研究.pdf

1、文本自動分類是目前信息檢索和自然語言處理領(lǐng)域的研究熱點(diǎn)之一。九十年代以后，機(jī)器學(xué)習(xí)方法逐步廣泛應(yīng)用于文本自動分類?；跈C(jī)器學(xué)習(xí)的文本自動分類是一個(gè)非常復(fù)雜的信息處理任務(wù)，目前仍然面臨著許多亟待解決的難題。本文將針對文本自動分類涉及的幾個(gè)主要問題進(jìn)行比較深入的研究和探索。具體研究內(nèi)容和創(chuàng)新性研究成果概括如下：　　1.基于N-gram的中英文文本表達(dá)方法。文本表達(dá)是指將表達(dá)文獻(xiàn)主題內(nèi)容的詞匯抽取出來的過程。常用的向量空間表達(dá)法主要采用TF

2、/IDF等權(quán)重法。該類權(quán)重法普遍存在兩大缺點(diǎn)：一是需要計(jì)算詞匯在整個(gè)數(shù)據(jù)集中頻率，標(biāo)引效率較低；二是不能直接應(yīng)用于中文等東方語種文獻(xiàn)。否則，必須首先解決分詞技術(shù)問題。　　2.標(biāo)引詞的語義異構(gòu)性處理。通過文本表達(dá)獲得的標(biāo)引詞，通常是沒有進(jìn)行語義規(guī)范控制的自由詞。如果直接將這些標(biāo)引詞作為特征項(xiàng)輸入文本自動分類算法，會直接導(dǎo)致計(jì)算時(shí)間復(fù)雜度的增加和分類性能的降低。人工方法和經(jīng)典相似度計(jì)算方法是目前建立標(biāo)引詞語義轉(zhuǎn)換關(guān)系的主要方式。本文的研究

3、成果是提出了一種基于粗糙集理論和索引語言理論的標(biāo)引詞語義轉(zhuǎn)換模型，可以用于建立來源于多個(gè)索引語言的標(biāo)引詞之間的語義關(guān)系，解決標(biāo)引詞的語義異構(gòu)性問題。該模型的優(yōu)點(diǎn)表現(xiàn)在：克服了人工轉(zhuǎn)換方法成本高、效率低的缺點(diǎn)；克服了經(jīng)典相似度計(jì)算方法單向性和不能明確定義標(biāo)引詞之間語義關(guān)系的缺點(diǎn)；能夠快速有效地實(shí)現(xiàn)多個(gè)索引語言在不同兼容水平上的標(biāo)引詞語義雙向轉(zhuǎn)換；能夠較大范圍地集成具有語義關(guān)系的標(biāo)引詞，克服特征抽取方法受限于數(shù)據(jù)集的缺點(diǎn)。　　3.粗糙集理