數(shù)據(jù)挖掘之分類算法的研究畢業(yè)論文

1、數(shù)據(jù)挖掘之分類算法的研究數(shù)據(jù)挖掘之分類算法的研究摘要：對分類算法中需要解決的關(guān)鍵問題進行了分析；綜述了不同分類算法的思想和特性，決策樹分類算法能夠很好地處理噪聲數(shù)據(jù)，但只能對規(guī)模較小的訓(xùn)練樣本集有效；貝葉斯分類算法精度高、速度快、錯誤率低、但分類不夠準(zhǔn)確；傳統(tǒng)的基于關(guān)聯(lián)規(guī)則算法分類算法準(zhǔn)確率高，但容易受硬件內(nèi)存的制約；支持向量機算法分類準(zhǔn)確率高、復(fù)雜性低，但速度慢。并且針對決策樹分類算法的缺點進行了改進。關(guān)鍵字：數(shù)據(jù)挖掘，分類算法，決策

2、樹0引言數(shù)據(jù)挖掘是從海量數(shù)據(jù)中獲取有用知識和價值的過程，是數(shù)據(jù)庫技術(shù)自然演化的結(jié)果。數(shù)據(jù)挖掘已廣泛應(yīng)用于零售、金融、保險、醫(yī)療、通訊等行業(yè)，并展現(xiàn)出了其強大的知識發(fā)現(xiàn)的能力。在數(shù)據(jù)挖掘的研究與應(yīng)用中，分類(Classification)算法一直受學(xué)術(shù)界的關(guān)注，它是一種有監(jiān)督的學(xué)習(xí)，通過對已知類別訓(xùn)練集的分析，從中發(fā)現(xiàn)分類規(guī)則，以此預(yù)測新數(shù)據(jù)的類別。數(shù)據(jù)分類算法中，為建立模型而被分析的數(shù)據(jù)元組組成的數(shù)據(jù)集合稱為訓(xùn)練數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)集中的單

3、個樣本(或元組)稱為訓(xùn)練樣本。分類算法是將一個未知樣本分到幾個已存在類的過程，主要包含兩個步驟:第1步，根據(jù)類標(biāo)號已知的訓(xùn)練數(shù)據(jù)集，訓(xùn)練并構(gòu)建一個模型，用于描述預(yù)定的數(shù)據(jù)類集或概念集第2步，使用所獲得的模型，對將來或未知的對象進行分類。1分類算法中的關(guān)鍵問題不同的分類算法有不同的特性，完成不同的任務(wù)。目前很多分類算法被機器學(xué)習(xí)、專家系統(tǒng)、統(tǒng)計學(xué)和神經(jīng)生物學(xué)等的研究者從不同角度提出，判斷不同分類算法的好壞可以由準(zhǔn)確率、速度、健壯性、可伸縮

4、性、可解釋性等幾個標(biāo)準(zhǔn)來衡量。另外，分類算法的效果通常和數(shù)據(jù)的特點有關(guān)，有的數(shù)據(jù)有空缺值，有的噪聲大，有的分部稀疏，有的屬性是連續(xù)的，有的則是離散或混合的。經(jīng)典的分類算法都有在不同的領(lǐng)域取得成功，比如決策樹分類算法用于醫(yī)療診斷、金融分析、評估貸款申請的信用風(fēng)險等廣闊領(lǐng)域支持向量機分類算法應(yīng)用于模式識別、基因分析、文本分類、語音識別、回歸分析等領(lǐng)域由于對噪聲數(shù)據(jù)具有很好的承受能力，神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用在字符識別、分子生物法的軟決策樹算法，極大

5、地提高了樹的正確率和歸納能力。王熙照教授等研究者為處理多類問題，采用基于層次分解的方法產(chǎn)生多層決策樹；針對C4.5算法的不足，提出新的決策樹算法解決歸納學(xué)習(xí)的判決精度問題[4]。還有一種多決策樹綜合技術(shù)，先將數(shù)據(jù)集分成多個子數(shù)據(jù)集，然后將生成的多個不同的決策樹綜合起來，生成最終的、最穩(wěn)定的決策樹。2.2貝葉斯分類算法貝葉斯(Beyes)分類算法基于概率統(tǒng)計學(xué)的貝葉斯定理，是一種在先驗概率與類條件概率已知的情況下，預(yù)測類成員關(guān)系可能性的模

6、式分類算法，如計算一個給定樣本屬于一個特定類的概率，并選定其中概率最大的一個類別作為該樣本的最終類別。貝葉斯分類算法的關(guān)鍵是使用概率表示各種形式的不確定性。對于大型數(shù)據(jù)集，從理論上講，精確度高，運算速度快，具有最小的錯誤率，是貝葉斯算法的最大優(yōu)點，但實際情況下，因其假定的不準(zhǔn)確性，導(dǎo)致缺乏可用的數(shù)據(jù)，就需要足夠大的樣本。針對該缺陷，出現(xiàn)了一些降低獨立性假設(shè)的貝葉斯改進分類算法，如半樸素貝葉斯算法、壓縮候選的貝葉斯信念網(wǎng)絡(luò)構(gòu)造算法、TAN

7、算法等[5]。貝葉斯分類算法還可以用來對不直接使用貝葉斯定理的其他分類算法提供理論判據(jù)?；诰垲惙治鏊枷?，提出一種合理性、可信度都優(yōu)于樸素貝葉斯缺損數(shù)據(jù)的修補算法。利用貝葉斯和決策樹分類算法的優(yōu)點，將貝葉斯的先驗信息法與決策樹分類的信息增益法相結(jié)合的混合分類算法，在處理不一致或者不完整數(shù)據(jù)時，比單純使用貝葉斯或決策樹進行的分類運算速度更快，準(zhǔn)確率更高。2.3基于關(guān)聯(lián)規(guī)則分類算法針對貝葉斯分類算法需要大樣本量的缺點，研究者提出了基于關(guān)聯(lián)規(guī)

8、(Classificationbasedonassociationrule，CBA)的分類算法。CBA算法通過發(fā)現(xiàn)樣本集中的關(guān)聯(lián)規(guī)則來構(gòu)造分類器，其經(jīng)典算法Aprii，通過3個步驟來構(gòu)造分類器，基于規(guī)則的分類器使用“if…then…”來分類記錄，其優(yōu)先考慮置信度，迭代檢索出數(shù)據(jù)集中所有的支持度不低于用戶設(shè)定閾值的項集?；陉P(guān)聯(lián)規(guī)則分類算法集分類器構(gòu)造與屬性相關(guān)分析于一體，發(fā)現(xiàn)的規(guī)則相對較全面且分類準(zhǔn)確度較高，是一種很有潛力的分類算法。傳