版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、數(shù)據(jù)挖掘是一個(gè)熱門(mén)的新興領(lǐng)域,在經(jīng)歷了近10幾年的高速發(fā)展之后,現(xiàn)已開(kāi)發(fā)出了很多成熟的算法用于有效的處理海量數(shù)據(jù),并且這些算法和技術(shù)在數(shù)據(jù)挖掘領(lǐng)域都有良好的表現(xiàn)。但是由于應(yīng)用催生的數(shù)據(jù)挖掘技術(shù)絕大部分處理的都是現(xiàn)實(shí)生活中的問(wèn)題,而對(duì)于算法需要使用的數(shù)據(jù)而言,現(xiàn)實(shí)生活中產(chǎn)生和搜集的數(shù)據(jù)通常都是充滿(mǎn)各種各樣的噪聲、不一致和缺失等情況。因此數(shù)據(jù)預(yù)處理技術(shù)在數(shù)據(jù)挖掘過(guò)程中占有越來(lái)越重要地位。通常面臨的各種現(xiàn)實(shí)數(shù)據(jù)的問(wèn)題中,數(shù)據(jù)缺失是最常見(jiàn)的。在
2、已經(jīng)開(kāi)發(fā)出的大部分經(jīng)典算法中,處理帶有缺失的數(shù)據(jù)是非常困難的。因?yàn)閿?shù)據(jù)缺失產(chǎn)生的原因比較復(fù)雜,不同的應(yīng)用中數(shù)據(jù)生成的過(guò)程迥異,所以算法開(kāi)發(fā)和設(shè)計(jì)的時(shí)候通常假設(shè)數(shù)據(jù)是按照理想狀態(tài)收集的。但是使用含有缺失的數(shù)據(jù)進(jìn)行挖掘,會(huì)對(duì)挖掘過(guò)程和結(jié)果都產(chǎn)生嚴(yán)重的影響,甚至導(dǎo)致得出錯(cuò)誤的模型和結(jié)論。因此數(shù)據(jù)挖掘算法和實(shí)際可用的數(shù)據(jù)之間存在一條巨大的鴻溝。針對(duì)數(shù)據(jù)缺失的預(yù)防、避免和處理等問(wèn)題,國(guó)內(nèi)外已經(jīng)有很多學(xué)者進(jìn)行了相關(guān)的研究,這些相關(guān)的研究吸收了統(tǒng)計(jì)、
3、機(jī)器學(xué)習(xí)、概率等學(xué)科的成果,他們?cè)谌笔е堤畛漕I(lǐng)域開(kāi)發(fā)出來(lái)的很多算法被實(shí)驗(yàn)和工業(yè)應(yīng)用證明是非常成功的。在通常意義下,即使填充效果一般的填充算法,對(duì)挖掘算法的執(zhí)行和挖掘效果的提高的作用都是明顯的。本文主要是對(duì)應(yīng)用最為廣泛、可擴(kuò)展性和適應(yīng)性最好的算法之一——KNN算法的分析和改進(jìn)。KNN算法是NN算法的推廣形式。NN算法(最近鄰算法)最早由Cover和Hart在1967年提出,最早用于分類(lèi)的研究。其基本思想是使用距離待分類(lèi)的事例最近的類(lèi)標(biāo)簽來(lái)
4、分類(lèi)未知事例。由于該算法易于理解和編程,并且適用范圍廣泛,在提出之后被廣泛用于分類(lèi)、聚類(lèi)、信息檢索和查詢(xún)、缺失值填充等領(lǐng)域,其中KNN算法就是NN算法在缺失值填充方面的改進(jìn)版本。KNN算法使用缺失點(diǎn)附近的數(shù)據(jù)點(diǎn)對(duì)缺失值進(jìn)行估計(jì)并進(jìn)行填充。傳統(tǒng)的KNN算法有很多的不足,例如計(jì)算量比較大等。已經(jīng)有很多針對(duì)KNN的改進(jìn)算法,這些算法通常專(zhuān)注于距離度量、距離計(jì)算、填充值的計(jì)算和計(jì)算結(jié)果存貯索引等方面的改進(jìn)。在目前所參閱過(guò)的文獻(xiàn)中,所有的補(bǔ)值算法
5、均是使用某一特定算法或者使用某幾種算法依次對(duì)整個(gè)數(shù)據(jù)集進(jìn)行填充,而本文提出的缺失點(diǎn)分類(lèi)思想指出,即使對(duì)于同一個(gè)數(shù)據(jù)集來(lái)說(shuō),不同的缺失點(diǎn)其適合的補(bǔ)值方法也是不同的,算法特別是基于密度和近鄰等的局部算法,應(yīng)該考慮對(duì)待填充的點(diǎn)進(jìn)行分類(lèi),分別使用合適的方法進(jìn)行填充,而不是簡(jiǎn)單的使用一種算法一視同仁的處理所有的數(shù)據(jù)。本文主要的工作是在分類(lèi)填充的框架下,提出K-1NN算法和進(jìn)一步的基于幾何中心的CNN算法,并結(jié)合部分填充策略,提出兩類(lèi)不適合進(jìn)行填充
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 基于GEP的kNN算法改進(jìn)研究.pdf
- 基于蜂群算法和改進(jìn)KNN的文本分類(lèi)研究.pdf
- 基于屬性信息熵的KNN算法改進(jìn)研究.pdf
- 基于區(qū)域劃分的改進(jìn)KNN分類(lèi)算法.pdf
- 一種改進(jìn)的KNN文本分類(lèi)算法.pdf
- 基于改進(jìn)KNN算法的網(wǎng)絡(luò)入侵檢測(cè)技術(shù)研究.pdf
- KNN算法改進(jìn)及基于all-confidence模式的分類(lèi)算法探討.pdf
- 基于改進(jìn)哈希算法的快速KNN文本分類(lèi)方法.pdf
- 基于改進(jìn)KNN算法的二手房評(píng)估.pdf
- 小型水質(zhì)數(shù)據(jù)采集系統(tǒng)及改進(jìn)的kNN預(yù)警算法研究.pdf
- KNN算法的改進(jìn)及其在文本分類(lèi)中的應(yīng)用.pdf
- 基于KNN的改進(jìn)算法研究及其在圖像去噪的應(yīng)用.pdf
- 基于改進(jìn)KNN的文本分類(lèi)算法的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 改進(jìn)的KNN算法在過(guò)濾垃圾郵件中的應(yīng)用研究.pdf
- 對(duì)knn算法的優(yōu)化
- 基于密度的樣本裁剪算法的改進(jìn)及在kNN中的應(yīng)用研究.pdf
- 基于KNN的文本分類(lèi)特征選擇與分類(lèi)算法的研究與改進(jìn).pdf
- 基于稀疏學(xué)習(xí)和流形學(xué)習(xí)的KNN算法研究.pdf
- 多類(lèi)標(biāo)KNN算法研究.pdf
- 改進(jìn)的LMS-KNN近鄰分類(lèi)方法研究.pdf
評(píng)論
0/150
提交評(píng)論