基于信息熵的中文文本分類算法研究.pdf

1、隨著Internet的快速發(fā)展，Web已成為全球性的、巨大的、分布和共享的信息空間，它為人們搜索信息提供了一種新的手段。但隨著Internet上信息量的爆炸式增加，信息搜索時，與特定用戶要求不大相關(guān)的信息大量涌現(xiàn)，甚至掩蓋了對用戶真正有用的信息。在這繁雜的信息中，如何快速地找到用戶需要的信息以及有效地利用這些信息，文本分類起著非常重要的作用，它可以有效地組織和管理這些信息，從而提高信息搜索的效率。 本文首先介紹了文本自動分類在國

2、內(nèi)外的研究現(xiàn)狀；其次對文本自動分類所涉及的關(guān)鍵技術(shù)，包括文本表示模型、中文分詞方法、特征選擇以及關(guān)鍵的分類算法，分別進(jìn)行了研究和探索；重點(diǎn)針對中文分詞技術(shù)，再次提出了關(guān)鍵詞集抽取算法，實(shí)驗(yàn)表明，本文的抽取系統(tǒng)基本上能將命名實(shí)體切出來；接下來介紹了基于信息熵的文本分類系統(tǒng)的總體框架，應(yīng)用信息熵理論，提出了一種文本分類的新方法。該方法利用熵來度量新文本對于已分類文本集合的貢獻(xiàn)大小，并以此熵值來判斷文本歸屬的類，最后設(shè)計并驗(yàn)證了基于信息熵的文