針對含有概念漂移問題的增量學習算法研究.pdf

1、隨著大數(shù)據(jù)時代的到來，大規(guī)模數(shù)據(jù)處理和學習成為了學術界研究的焦點，也為工業(yè)界設計更優(yōu)質的應用和服務帶來可能。增量學習通過增量式地學習新數(shù)據(jù)、更新已有模型的方法實現(xiàn)大規(guī)模數(shù)據(jù)的處理，也受到了研究領域的廣泛關注。然而，概念漂移，即數(shù)據(jù)聯(lián)合概率分布發(fā)生變化的現(xiàn)象，往往會嚴重影響增量學習的性能，給增量學習在真實學習任務中的應用帶來了巨大的挑戰(zhàn)。為了處理增量學習中的概念漂移問題，本文提出了兩個針對概念漂移問題的增量學習算法，并設計一個并行化學習框

2、架。主要工作包括:
　　首先，為了使用增量學習中的歷史知識輔助概念漂移的處理，本文提出了一種基于差異性模型選擇和知識遷移的概念漂移處理方法(DTEL)。本工作假設在概念漂移的情況下，歷史數(shù)據(jù)中的知識和當前知識間存在相關性。因此，可以通過知識遷移的方式，一方面提取出歷史數(shù)據(jù)訓練所得模型（即歷史模型）中的有用知識，另一方面去除其中和當前數(shù)據(jù)分布不一致的知識。通過這種方式利用歷史知識輔助增量學習對概念漂移的處理。此外，由于存儲空間的限制

3、，僅有限數(shù)量的歷史模型可以被算法所保存。對此，本工作提出一個基于差異性的模型選擇方法。通過維護差異性較大的一組歷史模型，為接下來的學習步提供盡可能多的知識，以更大的可能性為知識遷移提供較好的起始解。為了驗證本算法的有效性，本工作使用了多組人造數(shù)據(jù)和真實數(shù)據(jù)進行實驗，其中人造數(shù)據(jù)涵蓋了五種不同的概念漂移類型、真實數(shù)據(jù)涉及了四個不同的應用領域。實驗結果表明基于差異性模型選擇和知識遷移的方法能夠有效提升增量學習對于概念漂移的處理能力，且本算法

4、在不同類型的概念漂移上均有較好的表現(xiàn)。
　　其次，為了處理類演化類型概念漂移，本文提出了一種基于類的集成學習方法。類演化是一個特殊類型的概念漂移問題，指在學習過程中類出現(xiàn)或消失的現(xiàn)象。不同于已有工作中突變式類演化的情況，為了處理真實應用中的類演化問題，本工作將類演化建模為一種逐漸變化的過程，并提出了一個基于類的集成學習算法(CBCE)。通過新建基模型和抑制基模型的使用來達到處理類演化類型概念漂移的目的。考慮到漸變式類演化導致的動態(tài)

5、類不平衡問題，本工作提出一個動態(tài)數(shù)據(jù)下采樣的方法，并應用在各個基模型中。類演化類型概念漂移主要包括三種不同的基本元素，即類出現(xiàn)、類消失、以及消失類再次出現(xiàn)。本工作選用了人造數(shù)據(jù)和真實數(shù)據(jù)來表示各種的類演化場景，用以對基于類的集成學習算法進行綜合的驗證。實驗使用兩個真實數(shù)據(jù)集對類演化問題進行模擬，使用社交網(wǎng)絡數(shù)據(jù)作為真實數(shù)據(jù)進行測試。實驗結果表明本算法能夠有效的對類演化類型概念漂移進行處理，且能有效處理漸變類演化帶來的數(shù)據(jù)中動態(tài)類不平衡問

6、題。
　　最后，為了將增量學習算法在大規(guī)模數(shù)據(jù)中進行應用，本文設計并實現(xiàn)了一個針對概念漂移問題的并行化增量集成學習實現(xiàn)方法，用于提高增量學習中集成學習模型的學習和使用效率。在工業(yè)界真實應用中，大數(shù)據(jù)的學習中不僅要求算法具有較高的準確率，而且應該滿足高效執(zhí)行的要求，以適應數(shù)據(jù)的快速增長?？刹⑿行允窃O計并行系統(tǒng)的基礎。在增量學習中，集成學習模型具有很明顯的可并行性。為了提升算法執(zhí)行的時間效率，本工作對概念漂移處理中的集成算法進行分析歸