版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1、隨著信息社會(huì)的發(fā)展,各個(gè)領(lǐng)域產(chǎn)生的數(shù)據(jù)量呈現(xiàn)出爆炸性增長,許多領(lǐng)域產(chǎn)生了海量的數(shù)據(jù)流,如何從海量的數(shù)據(jù)流中挖掘出有價(jià)值的信息,這是一個(gè)在當(dāng)前受到廣泛關(guān)注的問題。分類是一種重要的數(shù)據(jù)分析形式,它通過已有的數(shù)據(jù)來預(yù)測未知數(shù)據(jù)的類標(biāo)簽,在傳統(tǒng)的分類算法中,一旦分類模型訓(xùn)練完成,分類模型也就被固定,也不再進(jìn)行調(diào)整,很顯然,這種分類模式無法應(yīng)對(duì)動(dòng)態(tài)變化的數(shù)據(jù)流。數(shù)據(jù)流不同于傳統(tǒng)的靜態(tài)數(shù)據(jù),往往具有數(shù)據(jù)數(shù)量無限,快速到達(dá),概念漂移等特性,因此,從數(shù)
2、據(jù)流中挖掘出人們感興趣的知識(shí)和模式需要全新的算法框架。
數(shù)據(jù)流反映的是數(shù)據(jù)的實(shí)時(shí)信息,與傳統(tǒng)的分類算法相比,數(shù)據(jù)流分類最大的特點(diǎn)是能夠根據(jù)數(shù)據(jù)的動(dòng)態(tài)變化來不斷地調(diào)整分類模型。然而,數(shù)據(jù)流中含有概念漂移,如何更加有效地檢測出概念漂移以及采取一定的措施來更好地應(yīng)對(duì)概念漂移,這是數(shù)據(jù)流分類中一個(gè)需要亟待解決的問題。為此,本文以傳統(tǒng)的分類框架為基礎(chǔ),針對(duì)數(shù)據(jù)流的分類問題進(jìn)行了系統(tǒng)地研究,主要取得了如下成果:
1.結(jié)合單隱含層
3、的神經(jīng)網(wǎng)絡(luò)極限學(xué)習(xí)機(jī)模型和在線序列學(xué)習(xí)機(jī)制,提出了一種面向數(shù)據(jù)流分類的快速極限學(xué)習(xí)機(jī)算法,給出了快速二分搜索確定隱含層節(jié)點(diǎn)數(shù)目的方法,并通過相鄰兩個(gè)數(shù)據(jù)塊分類結(jié)果準(zhǔn)確率的變化幅度來判斷是否發(fā)生概念漂移。該算法解決了傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速度慢,時(shí)間開銷大,無法直接應(yīng)用在數(shù)據(jù)流分類任務(wù)的問題。實(shí)驗(yàn)結(jié)果表明,該算法不但可以有效地檢測出概念漂移,而且能夠獲得很高的準(zhǔn)確率。
2.根據(jù)數(shù)據(jù)流中不同類型的變化對(duì)分類器性能的影響,提出了一種帶有
4、自適應(yīng)調(diào)整機(jī)制的動(dòng)態(tài)極限學(xué)習(xí)機(jī)算法。給出了根據(jù)分類結(jié)果的準(zhǔn)確率來動(dòng)態(tài)調(diào)整隱含層節(jié)點(diǎn)數(shù)目的方法,當(dāng)算法檢測到概念漂移時(shí),通過重新構(gòu)建新的ELM來適應(yīng)新的數(shù)據(jù)分布。實(shí)驗(yàn)結(jié)果表明,此算法由于具有自適應(yīng)調(diào)整機(jī)制,在具有原始ELM算法優(yōu)點(diǎn)的同時(shí),降低了對(duì)用戶經(jīng)驗(yàn)的依賴。
3.根據(jù)數(shù)據(jù)塊信息量的變化與數(shù)據(jù)分布關(guān)系,提出了一種基于信息熵的集成式數(shù)據(jù)流分類算法ECBE。該算法利用Hoeffding界來判斷是否發(fā)生了概念漂移,當(dāng)發(fā)生概念漂移時(shí),
5、系統(tǒng)根據(jù)權(quán)值來對(duì)分類器進(jìn)行凋整。該算法在訓(xùn)練階段訓(xùn)練多個(gè)分類器,分類器的權(quán)值由分類前后熵值的變化來確定。實(shí)驗(yàn)結(jié)果表明,相比于用準(zhǔn)確率反映數(shù)據(jù)塊數(shù)據(jù)分布的算法,ECBE算法能夠獲得更佳的分類效果。
4.針對(duì)數(shù)據(jù)流中漸進(jìn)式概念漂移檢測問題,提出了一種結(jié)合無監(jiān)督學(xué)習(xí)的數(shù)據(jù)流分類算法。該算法以集成式分類技術(shù)為基礎(chǔ),在分類過程中引入屬性約簡,通過對(duì)比分類和聚類結(jié)果的準(zhǔn)確率,來判斷是否發(fā)生概念漂移,從而避免了依據(jù)相鄰兩個(gè)數(shù)據(jù)塊分類結(jié)果的準(zhǔn)
6、確率往往只對(duì)突變式概念漂移較為敏感的問題。實(shí)驗(yàn)結(jié)果表明,該算法在突變式和漸進(jìn)式概念漂移上都取得了較好的效果,具有良好的魯棒性。
5.在概念漂移中,衡量分類器對(duì)前后兩個(gè)數(shù)據(jù)塊的分類能力是關(guān)鍵,而Kappa系數(shù)是衡量兩個(gè)變量一致性的重要方法。為了應(yīng)對(duì)隱含概念漂移的數(shù)據(jù)流分類問題,提出了一種基于Kappa系數(shù)的數(shù)據(jù)流分類算法。該算法在分類的過程中計(jì)算各個(gè)數(shù)據(jù)塊的分類結(jié)果的Kappa系數(shù),利用Kappa系數(shù)來檢測數(shù)據(jù)流中的概念是否發(fā)生
7、改變。實(shí)驗(yàn)結(jié)果表明,該算法能以較快的速度適應(yīng)數(shù)據(jù)的動(dòng)態(tài)變化,在時(shí)間消耗和分類精度方面具有較為明顯的優(yōu)勢。
本文針對(duì)隱含概念漂移的數(shù)據(jù)流分類問題,分別依據(jù)ELM、雙隱含層的ELM、信息熵、無監(jiān)督學(xué)習(xí),Kappa系數(shù)等機(jī)制,發(fā)展出了一系列有效的數(shù)據(jù)流分類算法,相關(guān)的實(shí)驗(yàn)結(jié)果也充分地表明,這些算法是可行且有效的,不但能夠有效地檢測出數(shù)據(jù)流中的概念漂移,而且能夠獲得較好的分類效果。本文的研究成果,對(duì)于面向數(shù)據(jù)流分類方法的研究具有重要的
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 動(dòng)態(tài)數(shù)據(jù)流分類方法研究.pdf
- 海量動(dòng)態(tài)數(shù)據(jù)流分類方法研究.pdf
- 面向類不均衡數(shù)據(jù)流的分類方法研究.pdf
- 含噪動(dòng)態(tài)數(shù)據(jù)流的分類研究.pdf
- 面向數(shù)據(jù)流挖掘的集成分類模型研究.pdf
- 面向概念漂移數(shù)據(jù)流的分類算法研究.pdf
- 面向數(shù)據(jù)流挖掘的分類和聚類算法研究.pdf
- 基于控制流與數(shù)據(jù)流的面向方面測試方法研究.pdf
- 面向信息共享的數(shù)據(jù)流隱私保護(hù)方法研究.pdf
- 數(shù)據(jù)流系綜分類算法研究.pdf
- 數(shù)據(jù)流分類技術(shù)研究.pdf
- 異構(gòu)分布式數(shù)據(jù)流分類方法研究.pdf
- 面向協(xié)議數(shù)據(jù)流的數(shù)據(jù)抽取研究.pdf
- 基于集成模型的傾斜數(shù)據(jù)流分類方法研究.pdf
- 面向Storm的數(shù)據(jù)流編程模型與優(yōu)化方法研究.pdf
- 面向數(shù)據(jù)流的數(shù)據(jù)聚類算法研究.pdf
- 面向含噪數(shù)據(jù)流的概念漂移集成分類研究.pdf
- 基于數(shù)據(jù)流的分類算法研究.pdf
- 數(shù)據(jù)流概念漂移檢測和不平衡數(shù)據(jù)流分類算法研究.pdf
- 基于EP的數(shù)據(jù)流分類算法研究.pdf
評(píng)論
0/150
提交評(píng)論