針對含有概念漂移問題的增量學(xué)習(xí)算法研究.pdf

1、隨著大數(shù)據(jù)時代的到來，大規(guī)模數(shù)據(jù)處理和學(xué)習(xí)成為了學(xué)術(shù)界研究的焦點，也為工業(yè)界設(shè)計更優(yōu)質(zhì)的應(yīng)用和服務(wù)帶來可能。增量學(xué)習(xí)通過增量式地學(xué)習(xí)新數(shù)據(jù)、更新已有模型的方法實現(xiàn)大規(guī)模數(shù)據(jù)的處理，也受到了研究領(lǐng)域的廣泛關(guān)注。然而，概念漂移，即數(shù)據(jù)聯(lián)合概率分布發(fā)生變化的現(xiàn)象，往往會嚴重影響增量學(xué)習(xí)的性能，給增量學(xué)習(xí)在真實學(xué)習(xí)任務(wù)中的應(yīng)用帶來了巨大的挑戰(zhàn)。為了處理增量學(xué)習(xí)中的概念漂移問題，本文提出了兩個針對概念漂移問題的增量學(xué)習(xí)算法，并設(shè)計一個并行化學(xué)習(xí)框

2、架。主要工作包括:
　　首先，為了使用增量學(xué)習(xí)中的歷史知識輔助概念漂移的處理，本文提出了一種基于差異性模型選擇和知識遷移的概念漂移處理方法(DTEL)。本工作假設(shè)在概念漂移的情況下，歷史數(shù)據(jù)中的知識和當(dāng)前知識間存在相關(guān)性。因此，可以通過知識遷移的方式，一方面提取出歷史數(shù)據(jù)訓(xùn)練所得模型（即歷史模型）中的有用知識，另一方面去除其中和當(dāng)前數(shù)據(jù)分布不一致的知識。通過這種方式利用歷史知識輔助增量學(xué)習(xí)對概念漂移的處理。此外，由于存儲空間的限制

3、，僅有限數(shù)量的歷史模型可以被算法所保存。對此，本工作提出一個基于差異性的模型選擇方法。通過維護差異性較大的一組歷史模型，為接下來的學(xué)習(xí)步提供盡可能多的知識，以更大的可能性為知識遷移提供較好的起始解。為了驗證本算法的有效性，本工作使用了多組人造數(shù)據(jù)和真實數(shù)據(jù)進行實驗，其中人造數(shù)據(jù)涵蓋了五種不同的概念漂移類型、真實數(shù)據(jù)涉及了四個不同的應(yīng)用領(lǐng)域。實驗結(jié)果表明基于差異性模型選擇和知識遷移的方法能夠有效提升增量學(xué)習(xí)對于概念漂移的處理能力，且本算法

4、在不同類型的概念漂移上均有較好的表現(xiàn)。
　　其次，為了處理類演化類型概念漂移，本文提出了一種基于類的集成學(xué)習(xí)方法。類演化是一個特殊類型的概念漂移問題，指在學(xué)習(xí)過程中類出現(xiàn)或消失的現(xiàn)象。不同于已有工作中突變式類演化的情況，為了處理真實應(yīng)用中的類演化問題，本工作將類演化建模為一種逐漸變化的過程，并提出了一個基于類的集成學(xué)習(xí)算法(CBCE)。通過新建基模型和抑制基模型的使用來達到處理類演化類型概念漂移的目的。考慮到漸變式類演化導(dǎo)致的動態(tài)

5、類不平衡問題，本工作提出一個動態(tài)數(shù)據(jù)下采樣的方法，并應(yīng)用在各個基模型中。類演化類型概念漂移主要包括三種不同的基本元素，即類出現(xiàn)、類消失、以及消失類再次出現(xiàn)。本工作選用了人造數(shù)據(jù)和真實數(shù)據(jù)來表示各種的類演化場景，用以對基于類的集成學(xué)習(xí)算法進行綜合的驗證。實驗使用兩個真實數(shù)據(jù)集對類演化問題進行模擬，使用社交網(wǎng)絡(luò)數(shù)據(jù)作為真實數(shù)據(jù)進行測試。實驗結(jié)果表明本算法能夠有效的對類演化類型概念漂移進行處理，且能有效處理漸變類演化帶來的數(shù)據(jù)中動態(tài)類不平衡問

6、題。
　　最后，為了將增量學(xué)習(xí)算法在大規(guī)模數(shù)據(jù)中進行應(yīng)用，本文設(shè)計并實現(xiàn)了一個針對概念漂移問題的并行化增量集成學(xué)習(xí)實現(xiàn)方法，用于提高增量學(xué)習(xí)中集成學(xué)習(xí)模型的學(xué)習(xí)和使用效率。在工業(yè)界真實應(yīng)用中，大數(shù)據(jù)的學(xué)習(xí)中不僅要求算法具有較高的準確率，而且應(yīng)該滿足高效執(zhí)行的要求，以適應(yīng)數(shù)據(jù)的快速增長?？刹⑿行允窃O(shè)計并行系統(tǒng)的基礎(chǔ)。在增量學(xué)習(xí)中，集成學(xué)習(xí)模型具有很明顯的可并行性。為了提升算法執(zhí)行的時間效率，本工作對概念漂移處理中的集成算法進行分析歸