版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、大數(shù)據(jù)時(shí)代,文本信息量呈爆炸式增長(zhǎng),想要從中篩選有用類別信息極具挑戰(zhàn)?!盎谠~語(yǔ)”和“基于模式”是文本分類領(lǐng)域兩種有效的處理途徑?!盎谠~語(yǔ)”方法以其易操作性,深受廣大研究者青睞,但其性能受到同義詞、一詞多義及噪聲問(wèn)題制約。相比之下,“基于模式”方法憑借自身更多的有用信息,可以有效避免“基于詞語(yǔ)”方法面臨的問(wèn)題,挖掘出的特征更具有鑒別力,對(duì)分類而言更為高效。論文主要研究基于最長(zhǎng)閉頻繁序列模式的文本分類方法,解決基于最長(zhǎng)閉頻繁序列模式的文
2、本處理過(guò)程中數(shù)據(jù)預(yù)處理、最長(zhǎng)閉頻繁序列模式挖掘、特征選擇與文本分類問(wèn)題。主要工作包括:
(1)基于詞頻統(tǒng)計(jì)規(guī)律的文本數(shù)據(jù)預(yù)處理方法
文本挖掘性能被特征的“高維—稀疏”所困擾,在文本挖掘前進(jìn)行有效數(shù)據(jù)預(yù)處理顯得至關(guān)重要。提出基于詞頻統(tǒng)計(jì)規(guī)律的文本數(shù)據(jù)預(yù)處理方法:首先,基于齊普夫定律和最大值法推導(dǎo)出同頻詞數(shù)表達(dá)式;然后,基于同頻詞數(shù)表達(dá)式探究各頻次詞語(yǔ)在文中的分布規(guī)律,發(fā)現(xiàn)詞頻為1和2的詞語(yǔ)與文檔關(guān)聯(lián)度較低,但比重高達(dá)2
3、/3;最后,基于詞頻統(tǒng)計(jì)規(guī)律進(jìn)行數(shù)據(jù)預(yù)處理,在預(yù)處理階段去除低頻詞,減小特征維度。在公共數(shù)據(jù)集Reuters-21578和20-Newsgroups上進(jìn)行驗(yàn)證,結(jié)果表明:各頻次詞語(yǔ)分布規(guī)律是正確的;基于詞頻統(tǒng)計(jì)規(guī)律進(jìn)行文本數(shù)據(jù)預(yù)處理,在保證分類性能的前提下,運(yùn)行時(shí)間明顯降低,文本挖掘效率得到顯著提高。
(2)文本最長(zhǎng)閉頻繁序列模式挖掘方法
“基于模式”方法可以很好地解決“基于詞語(yǔ)”所面臨的諸多問(wèn)題,對(duì)分類更加有效,執(zhí)
4、行效率優(yōu)于“基于詞語(yǔ)”方法。但實(shí)際應(yīng)用中,挖掘出的大量頻繁模式會(huì)降低其有效性。因此,從規(guī)模龐大的模式集合中選擇最具區(qū)別力和代表性的模式尤為重要。提出文本最長(zhǎng)閉頻繁序列模式挖掘模型:首先,提出剪枝模型,用于去除噪聲模式;其次,提出頻繁序列模式擴(kuò)展和頻繁序列模式后綴集合提取模型,結(jié)合剪枝模型挖掘最長(zhǎng)閉頻繁序列模式;再次,提出基于包含度原理的冗余文本頻繁模式篩選算法,通過(guò)冗余模式去噪,提升文本頻繁模式挖掘性能;最后,挖掘出非冗余最具類別區(qū)分力
5、的最長(zhǎng)閉頻繁序列模式。在公共數(shù)據(jù)集上的實(shí)驗(yàn)證實(shí),提出的最長(zhǎng)閉頻繁序列模式挖掘模型是有效的。
(3)基于最長(zhǎng)閉頻繁序列模式的文本特征選擇方法
對(duì)于高維數(shù)據(jù)處理,文本分類的關(guān)鍵任務(wù)是進(jìn)行特征選擇。由于文檔中存在規(guī)模龐大的詞語(yǔ)和模式,想要保證所挖掘特征質(zhì)量是一項(xiàng)巨大挑戰(zhàn)。模式挖掘面臨長(zhǎng)模式與新文檔低匹配度問(wèn)題,如何高效選擇并利用文本中的有用模式仍是難題。提出基于最長(zhǎng)閉頻繁序列模式的特征選擇方法:首先,提出最長(zhǎng)閉頻繁序列模式
6、特征詞語(yǔ)加權(quán)模型,將模式轉(zhuǎn)換到詞語(yǔ)空間,克服長(zhǎng)模式與新文檔低匹配度問(wèn)題,并將詞語(yǔ)在模式中的支持度作為其初始權(quán)重進(jìn)行特征選擇;然后,提出基于特異度的特征詞語(yǔ)分類及權(quán)重更新模型,基于詞語(yǔ)相對(duì)文檔的特異度將詞語(yǔ)劃分為正特異詞語(yǔ)和一般詞語(yǔ),并對(duì)兩類詞語(yǔ)進(jìn)行權(quán)重更新。最后,得到基于最長(zhǎng)閉頻繁序列模式的特征集及對(duì)應(yīng)權(quán)重。通過(guò)在公共數(shù)據(jù)集上的驗(yàn)證得知,該方法優(yōu)于當(dāng)前普遍應(yīng)用的文本特征選擇方法。
(4)基于最長(zhǎng)閉頻繁序列模式的文本分類方法
7、r> 基于相似性進(jìn)行文本分類是當(dāng)前流行的文本處理方法,提出基于最長(zhǎng)閉頻繁序列模式的文本分類方法:首先,提出基于特征詞語(yǔ)“缺失—存在”的文本相似性度量方法,旨在利用特征與文檔間的隸屬關(guān)系度量文檔相似性,實(shí)現(xiàn)文本分類。該方法根據(jù)特征詞語(yǔ)與文檔間隸屬關(guān)系,對(duì)特征進(jìn)行全隸屬、偏隸屬和無(wú)隸屬詞集劃分,并以此定義隸屬度函數(shù)。全隸屬詞集隸屬于兩篇文檔,隸屬度隨權(quán)差增大而降低;偏隸屬詞集僅隸屬于其中某一篇文檔,隸屬度為一個(gè)定值;無(wú)隸屬詞集與兩篇文檔無(wú)
8、隸屬關(guān)系,隸屬度為零。同類文檔間,全隸屬特征詞語(yǔ)較多,偏隸屬特征詞語(yǔ)較少,且相似度越高的文檔間全隸屬詞語(yǔ)權(quán)重越接近;異類文檔間偏隸屬特征詞語(yǔ)較多,全隸屬特征詞語(yǔ)較少,且全隸屬特征詞語(yǔ)權(quán)重差異較大。其次,將文檔間相似性度量方法,擴(kuò)展為度量文檔與文檔集合間相似性;再次,將基于最長(zhǎng)閉頻繁序列模式的文本特征選擇方法所選特征,用于該相似性度量方法;最后,將文檔歸入相似度最高的類別,實(shí)現(xiàn)文本分類。采用公共數(shù)據(jù)集驗(yàn)證分類性能,結(jié)果表明該分類方法優(yōu)于傳
9、統(tǒng)方法和新方法。
論文的創(chuàng)新點(diǎn)在于:基于詞頻統(tǒng)計(jì)規(guī)律進(jìn)行數(shù)據(jù)預(yù)處理,可有效降低特征維度;基于包含度原理挖掘非冗余最長(zhǎng)閉頻繁序列模式,可通過(guò)冗余模式去噪提升文本頻繁模式挖掘性能;基于最長(zhǎng)閉頻繁序列模式的特征選擇方法所提取的特征充分考慮特征詞語(yǔ)所在模式在文中的分布規(guī)律和特異性,與文檔間關(guān)系界定更加清晰;基于特征詞語(yǔ)“缺失—存在”的文本相似性度量方法,利用特征詞語(yǔ)與兩個(gè)文檔間三種關(guān)系定義不同貢獻(xiàn)度,特征類別劃分更加合理,可明顯提升分
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 基于極大頻繁序列模式的文本分類方法.pdf
- 基于句子級(jí)頻繁項(xiàng)目集的文本分類方法研究.pdf
- 基于最小位置的頻繁序列和閉序列挖掘方法研究.pdf
- 基于最小位置的頻繁序列和閉序列挖掘方法研究(1)
- 基于TAN的文本分類方法研究.pdf
- 基于WordNet本體庫(kù)的文本分類方法.pdf
- 基于NMF的中文文本分類方法.pdf
- 基于意群的文本分類方法研究.pdf
- 基于集成SVM的文本分類方法研究.pdf
- 短文本分類方法研究.pdf
- 基于文本分類技術(shù)的漏洞分類.pdf
- 基于內(nèi)容和情感的文本分類方法研究.pdf
- 基于改進(jìn)詞語(yǔ)權(quán)重的文本分類方法研究.pdf
- 基于引力場(chǎng)模型的文本分類方法.pdf
- 基于MapReduce的分布式閉頻繁模式發(fā)現(xiàn)方法研究.pdf
- 基于相關(guān)主題模型的文本分類方法研究.pdf
- 基于流形學(xué)習(xí)的文本分類方法研究.pdf
- 基于頻繁閉項(xiàng)集的關(guān)聯(lián)分類算法研究.pdf
- 基于詞向量的短文本分類方法研究.pdf
- 基于擴(kuò)展的VSM中文文本分類方法.pdf
評(píng)論
0/150
提交評(píng)論