基于概念的文本自動(dòng)分類研究.pdf

1、隨著因特網(wǎng)的迅猛發(fā)展,大量的信息朝著人們撲面而來(lái),如何管理好所得到的信息的問題變得越來(lái)越突出,對(duì)文本進(jìn)行分類管理是人們經(jīng)常采用的一種文件管理方法.該文提出了一個(gè)基于概念的自然語(yǔ)言文本自動(dòng)分類模型,該模型以《知網(wǎng)》為主要的概念知識(shí)源,以詞所表示的概念為分類基礎(chǔ),把概念繼續(xù)分解至義原,并在可分義原組成的向量空間進(jìn)行文本分類.該模型概述如下:文本分類系統(tǒng)分為訓(xùn)練模塊和分類模塊,義原分為可分義原和不可分義原,文本在經(jīng)過預(yù)處理后,按一定規(guī)則提取出

2、關(guān)鍵詞,對(duì)有歧義的關(guān)鍵詞,根據(jù)其詞性和上下文對(duì)對(duì)其進(jìn)行概念排歧,根據(jù)關(guān)鍵詞所表示的概念在《知網(wǎng)》中的定義,把關(guān)鍵詞分解成義原,并將不可分義原剔除,從而把文本表示成可分義原向量空間中的一個(gè)向量.在訓(xùn)練集中的文本均表示成向量空間的文本之后,訓(xùn)練集中相似的向量在向量空間中會(huì)形成文本聚類.對(duì)于將要進(jìn)行分類的文本,亦按上述的方法將其表示為一向量,并在訓(xùn)練集中找出k個(gè)與其距離最近的鄰居的類別作為該文本的類別.實(shí)驗(yàn)表明,該模型相對(duì)于基于關(guān)鍵詞的文本分