文本分類及其特征降維研究.pdf

1、浙江大學(xué)博士學(xué)位論文致謝致謝在即將完成研究生階段學(xué)習(xí)之際，我首先要深深感謝我的導(dǎo)師潘雪增教授和平玲娣教授，感謝他們這些年來在學(xué)習(xí)上對我的教導(dǎo)與幫助、支持與鼓勵(lì)，感謝他們在生活上給我的關(guān)懷與照顧，以及在論文撰寫和修改過程中所花費(fèi)的大量時(shí)間和精力。潘老師和平老師深厚的理論功底、淵博的學(xué)識(shí)、嚴(yán)謹(jǐn)?shù)闹螌W(xué)態(tài)度、和藹可親的待人方式給我留下了深刻的印象，從他們的身上，我不僅學(xué)到了知識(shí)和科學(xué)研究方法，更重要的是學(xué)到了許多做人的道理；對事業(yè)的執(zhí)著追求精神

2、；對生活的熱愛。他們的敬業(yè)精神永遠(yuǎn)值得我學(xué)習(xí)!作為一名在職攻讀博士學(xué)位的研究生，在保證工作任務(wù)完成的同時(shí)還要進(jìn)行研究工作，是十分辛苦的。但是我順利的完成了各項(xiàng)教學(xué)任務(wù)，沒有因?yàn)楣ぷ鞫鴩?yán)重影響到學(xué)位論文的研究。在這里我要感謝浙江財(cái)經(jīng)學(xué)院東方學(xué)院信息分院的老師們對我研究工作的支持和幫助。特別感謝馮小青老師，她既是我的同班同學(xué)，又是我的同事，在我的論文研究過程中給了我很大的幫助。感謝嚴(yán)素蓉老師對我論文研究工作的幫助。還要感謝各位在浙江大學(xué)計(jì)算

3、機(jī)學(xué)院研究生辦公室辛勤工作的老師們，他們從事著繁雜枯燥的日常管理工作，為我們完成學(xué)位論文創(chuàng)造了有利的條件，在此對他們表示衷心的感謝。此外，我要深深感謝我的父母，在我困難的時(shí)候給我支持與鼓勵(lì)，在我萎靡不振的時(shí)候給我的安慰。感謝我的婆婆對我的支持，給我創(chuàng)造了良好的學(xué)習(xí)和工作環(huán)境。感謝我的文夫?qū)ξ业臒o私的奉獻(xiàn)、耐心的幫助和精神上的鼓勵(lì)，感謝他一同陪我走過這幾年的求學(xué)之路，分擔(dān)失敗的痛苦，分享成功的喜悅。最后要感謝我的女兒，她是我不斷前進(jìn)的動(dòng)力

4、。廖一星2011年12月10日浙江大學(xué)博士學(xué)位論文摘要摘要隨著信息技術(shù)的迅猛發(fā)展，特別是Internet的普及，信息容量呈爆炸性趨勢增長，人們迫切需要一種技術(shù)高效地組織和管理信息。文本分類作為組織和處理大量文本信息的關(guān)鍵技術(shù)，可以在較大程度上解決信息雜亂的問題，對于信息的高效管理和有效利用都具有極其現(xiàn)實(shí)的意義，成為了數(shù)據(jù)挖掘領(lǐng)域中的一個(gè)重要的研究方向。目前，文本分類技術(shù)已經(jīng)在多個(gè)領(lǐng)域得到了廣泛的應(yīng)用，并且取得了較大的進(jìn)展。例如信息過濾、

5、信息檢索、詞義辨析、新聞分發(fā)、郵件分類、數(shù)字圖書館和文本數(shù)據(jù)庫等，此外，越來越多的學(xué)者也投入到文本分類研究中，出現(xiàn)了許多新的文本分類方法和技術(shù)。但是，文本分類也遇到了前所未有的挑戰(zhàn)。在理論和實(shí)踐上，文本分類的研究仍存在很大的發(fā)展空間。論文介紹了文本分類的研究背景、研究意義和國內(nèi)外研究現(xiàn)狀，并在分析和總結(jié)文本預(yù)處理、文本表示模型、特征降維、特征權(quán)重、分類方法和分類性能評價(jià)的基礎(chǔ)上，對文本分類器及其特征降維進(jìn)行了深入的研究。本文的主要?jiǎng)?chuàng)新研

6、究工作如下：(1)提出了一種基于云模型的文本分類器(CMTC)。首先，引入平滑因子仃參數(shù)以解決因稀疏特征空間而造成普通云分類器無法在文本分類中直接使用的問題；然后通過實(shí)驗(yàn)分析了盯和文本分類性能之間的關(guān)系；最后選取合適的仃參數(shù)。實(shí)驗(yàn)結(jié)果表明，在Reutersl0(Reuters21578的一個(gè)子集)數(shù)據(jù)集上，CMTC比SVM和KNN具有更好的處理能力，特別是宏平均Fl指標(biāo)的最大值比KNN和SVM分別提高了506％和619％。在復(fù)旦大學(xué)提供

7、的語料上，CMTC的分類性能與KNN不相上下，有時(shí)甚至比KNN更好。另外，CMTC的分類性能優(yōu)于SVM。(2)提出了一種基于逆云模型的CMFS特征選擇方法。首先根據(jù)逆云模型理論建立訓(xùn)練集各屬性在各類別上的模型，然后根據(jù)所建模型計(jì)算每個(gè)屬性的類間差別，最后選取類間差別大的屬性作為分類特征。另外還考慮了特征頻率。實(shí)驗(yàn)結(jié)果表明，無論采用NaiveBayes還是SVM分類，CMFS分類性能接近信息增益的分類性能，并優(yōu)于文本證據(jù)權(quán)重和互信息。(3