基于主動(dòng)學(xué)習(xí)的數(shù)據(jù)流分類器研究.pdf_第1頁(yè)
已閱讀1頁(yè),還剩54頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、近年來(lái),實(shí)時(shí)監(jiān)控系統(tǒng)、物聯(lián)網(wǎng)、Internet傳輸信息等環(huán)境產(chǎn)生了大量數(shù)據(jù)流,這類數(shù)據(jù)具有快速到達(dá)、海量潛在無(wú)限和概念漂移的特點(diǎn)。這些特點(diǎn)使得無(wú)法使
  用傳統(tǒng)的數(shù)據(jù)分類方法進(jìn)行分類,需要新的適用于數(shù)據(jù)流的分類方法。此外,在真實(shí)的數(shù)據(jù)流環(huán)境中,大量實(shí)例快速到達(dá),而對(duì)實(shí)例進(jìn)行標(biāo)記是需要時(shí)間和成本的,這就使得及時(shí)獲得充足的標(biāo)記數(shù)據(jù)是不現(xiàn)實(shí)的,此時(shí)如果用監(jiān)督學(xué)習(xí)的方法訓(xùn)練分類器將產(chǎn)生弱分類器。另外在真實(shí)環(huán)境中,有許多應(yīng)用需要快速地對(duì)大規(guī)

2、模的數(shù)據(jù)進(jìn)行分類,而單機(jī)的分類器不能滿足此時(shí)的分類需求。
  針對(duì)真實(shí)數(shù)據(jù)流環(huán)境中上述兩方面問(wèn)題,本文提出了一種新穎的基于主動(dòng)學(xué)習(xí)的數(shù)據(jù)流分類器,來(lái)解決標(biāo)記數(shù)據(jù)不足而可能導(dǎo)致弱分類器的問(wèn)題;并且基于免費(fèi)、開(kāi)源、分布式的實(shí)時(shí)計(jì)算系統(tǒng)Storm,提出一種可以快速地對(duì)大規(guī)模數(shù)據(jù)進(jìn)行分類的數(shù)據(jù)流分類器。本文的主要工作與研究成果如下:
  第一,研究了數(shù)據(jù)流分類相關(guān)的技術(shù)。首先介紹了數(shù)據(jù)挖掘的概念、過(guò)程以及功能。然后介紹了分類的概念、

3、一般過(guò)程以及經(jīng)典的分類算法。接著介紹了數(shù)據(jù)流的定義和特征,數(shù)據(jù)流的處理模型和常見(jiàn)的處理方法。最后介紹了數(shù)據(jù)流分類的一般過(guò)程、一些著名的數(shù)據(jù)流分類算法以及數(shù)據(jù)流分類器的評(píng)估標(biāo)準(zhǔn)。
  第二,提出了一種新穎的基于主動(dòng)學(xué)習(xí)的分類器 DCA。針對(duì)標(biāo)記數(shù)據(jù)不足而可能導(dǎo)致弱分類器的問(wèn)題,DCA在集成分類器之上用主動(dòng)學(xué)習(xí)的方法,只提交小部分實(shí)例給專家進(jìn)行人工標(biāo)記。選擇的方法是依據(jù)分類時(shí)該實(shí)例的分類置信度,集成分類器對(duì)此實(shí)例的分類意見(jiàn)越統(tǒng)一,分類

4、置信度越高,反之則越小。認(rèn)為分類置信度高的實(shí)例的預(yù)測(cè)類別很可能就是它的真實(shí)類別,而分類置信度低的實(shí)例的預(yù)測(cè)類別很可能不是真實(shí)類別,只需將分類置信度低的實(shí)例提交專家。通過(guò)時(shí)間分析,證實(shí)了DCA的有效性,并通過(guò)在仿真數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn),驗(yàn)證了DCA的正確性。
  第三,提出了基于 Storm的分類器 RCL。真實(shí)數(shù)據(jù)流分類環(huán)境許多應(yīng)用需要快速地分類大規(guī)模數(shù)據(jù)。自行設(shè)計(jì)一個(gè)分布式的分類器不僅困難而且沒(méi)有必要,基于Hadoop的方

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論