基于自然語(yǔ)言處理的文本分類分析與研究.pdf

1、當(dāng)今,隨著信息技術(shù)不斷向前發(fā)展,在機(jī)器學(xué)習(xí)這門計(jì)算機(jī)學(xué)科中,有關(guān)模式識(shí)別的理論知識(shí)已經(jīng)日趨成熟,同時(shí)應(yīng)用到了許多領(lǐng)域,其中一個(gè)重要的研究方向是基于統(tǒng)計(jì)的自然語(yǔ)言處理。由于互聯(lián)網(wǎng)的興起,基于自然語(yǔ)言表述的電子文本信息越來(lái)越多,在這么多的電子文本信息中,基于自然語(yǔ)言的信息處理的一個(gè)最大目標(biāo)是怎樣有效地獲取和管理這些信息。對(duì)于提出的這些問(wèn)題需要對(duì)自然語(yǔ)言進(jìn)行研究和其相關(guān)應(yīng)用,文本分類在這里顯得特別重要,它是作為信息檢索等問(wèn)題的基礎(chǔ)。
　

2、　文本分類主要分為兩個(gè)階段,分別采用了自然語(yǔ)言處理、機(jī)器學(xué)習(xí)、模式識(shí)別、文本挖掘技術(shù)來(lái)實(shí)現(xiàn)。因此,文本分類在理論研究上的價(jià)值體現(xiàn)在對(duì)這些技術(shù)的推動(dòng)。文本分類能夠有效的提高網(wǎng)上信息檢索的效果,不僅是改進(jìn)信息獲取模式的重要方面,也是內(nèi)容安全的基礎(chǔ)部分。因此分類性能的好壞已經(jīng)成為關(guān)注的焦點(diǎn),研究文本分類任務(wù)的理論和工程應(yīng)用,將具有重要意義。
　　在現(xiàn)有的研究成果上,本論文對(duì)文本分類及其相關(guān)技術(shù)做了一些研究。首先介紹了文本分類技術(shù)的研究現(xiàn)

3、狀及該課題研究意義;接著介紹了文本分類的過(guò)程和在這個(gè)過(guò)程中所用到的相關(guān)技術(shù),主要對(duì)中文分詞方法、特征選擇方法和文本分類算法做了研究;然后介紹文本分類設(shè)計(jì)的整個(gè)過(guò)程,在預(yù)處理的過(guò)程中為了對(duì)三字長(zhǎng)交集型歧義字段消除歧義及對(duì)停用詞的處理,對(duì)最大匹配分詞法進(jìn)行了改進(jìn),同時(shí)在基于KL散度的特征選取法基礎(chǔ)上并且結(jié)合了特征項(xiàng)的TFIDF權(quán)值,這樣選取出的特征項(xiàng)能比較準(zhǔn)確的表達(dá)文本內(nèi)容,為分類打好基礎(chǔ),最后對(duì)貝葉斯算法、簡(jiǎn)單向量距離分類法和KNN(K最