基于自然語言處理的文本分類分析與研究.pdf

1、當今,隨著信息技術不斷向前發(fā)展,在機器學習這門計算機學科中,有關模式識別的理論知識已經(jīng)日趨成熟,同時應用到了許多領域,其中一個重要的研究方向是基于統(tǒng)計的自然語言處理。由于互聯(lián)網(wǎng)的興起,基于自然語言表述的電子文本信息越來越多,在這么多的電子文本信息中,基于自然語言的信息處理的一個最大目標是怎樣有效地獲取和管理這些信息。對于提出的這些問題需要對自然語言進行研究和其相關應用,文本分類在這里顯得特別重要,它是作為信息檢索等問題的基礎。
　

2、　文本分類主要分為兩個階段,分別采用了自然語言處理、機器學習、模式識別、文本挖掘技術來實現(xiàn)。因此,文本分類在理論研究上的價值體現(xiàn)在對這些技術的推動。文本分類能夠有效的提高網(wǎng)上信息檢索的效果,不僅是改進信息獲取模式的重要方面,也是內容安全的基礎部分。因此分類性能的好壞已經(jīng)成為關注的焦點,研究文本分類任務的理論和工程應用,將具有重要意義。
　　在現(xiàn)有的研究成果上,本論文對文本分類及其相關技術做了一些研究。首先介紹了文本分類技術的研究現(xiàn)

3、狀及該課題研究意義;接著介紹了文本分類的過程和在這個過程中所用到的相關技術,主要對中文分詞方法、特征選擇方法和文本分類算法做了研究;然后介紹文本分類設計的整個過程,在預處理的過程中為了對三字長交集型歧義字段消除歧義及對停用詞的處理,對最大匹配分詞法進行了改進,同時在基于KL散度的特征選取法基礎上并且結合了特征項的TFIDF權值,這樣選取出的特征項能比較準確的表達文本內容,為分類打好基礎,最后對貝葉斯算法、簡單向量距離分類法和KNN(K最