在大數(shù)據(jù)環(huán)境下基于數(shù)據(jù)流的數(shù)據(jù)挖掘技術(shù)研究.pdf

1、在互聯(lián)網(wǎng)發(fā)展與電子商務(wù)崛起的歷程中，數(shù)據(jù)呈爆炸性增長，現(xiàn)已是大數(shù)據(jù)時(shí)代。在傳感器數(shù)據(jù)傳輸、Web登錄日志采集與移動(dòng)手機(jī)數(shù)據(jù)交互等多領(lǐng)域中，均對數(shù)據(jù)管理與分析提出新要求，其實(shí)質(zhì)是對數(shù)據(jù)流管理與分析。如何可以快速、準(zhǔn)確、低成本從海量數(shù)據(jù)中挖掘?qū)ζ髽I(yè)有用數(shù)據(jù)，已成為大數(shù)據(jù)環(huán)境下數(shù)據(jù)挖掘技術(shù)面臨的全新課題。同時(shí)隨著電子商務(wù)普及，使人們從線下購物轉(zhuǎn)到線上購物，推薦系統(tǒng)在這樣環(huán)境下應(yīng)運(yùn)而生，推薦系統(tǒng)的產(chǎn)生也充分說明信息過載問題的出現(xiàn)。
　　本

2、文圍繞兩方面問題進(jìn)行分析：（1）數(shù)據(jù)流的頻繁元素挖掘方法；（2）用戶推薦信息挖掘的并行化處理。這兩方面為數(shù)據(jù)挖掘領(lǐng)域中熱點(diǎn)問題，采用傳統(tǒng)串行算法求解時(shí)，由于內(nèi)存計(jì)算能力與物理存儲能力限制，隨著數(shù)據(jù)量增長，效率急劇下降。
　　本文重點(diǎn)對傳統(tǒng)算法進(jìn)行分析改進(jìn)，并通過實(shí)驗(yàn)數(shù)據(jù)進(jìn)行比較分析。
　?。?）在數(shù)據(jù)流的頻繁元素挖掘方法方面，重點(diǎn)分析了如何以數(shù)據(jù)流的形式對最常見元素問題和最流行元素問題求解。最常見元素問題采用改進(jìn) DGIM算

3、法與基于Hadoop分布式平臺算法求解；最流行元素問題采用改進(jìn)指數(shù)衰減窗口模型求解。改進(jìn) DGIM算法通過調(diào)整相同大小的數(shù)據(jù)桶個(gè)數(shù)，將錯(cuò)誤率上界收斂于任意小值；改進(jìn)指數(shù)衰減窗口模型通過增加篩選閾值，提高計(jì)算效率；
　?。?）在用戶推薦信息挖掘的并行化處理方面，重點(diǎn)分析了關(guān)聯(lián)規(guī)則挖掘的并行化處理與協(xié)同過濾推薦的并行化處理。在關(guān)聯(lián)規(guī)則挖掘中，利用Hadoop分布式平臺對傳統(tǒng)Apriori算法并行改進(jìn)，通過引入局部候選項(xiàng)集，大大降低了算

4、法迭代次數(shù)，挖掘全局頻繁項(xiàng)集時(shí)僅需兩次遍歷數(shù)據(jù)集，更加適用于大數(shù)據(jù)環(huán)境下的關(guān)聯(lián)規(guī)則挖掘。在協(xié)同過濾推薦中，通過Hadoop分布式平臺對傳統(tǒng)的相似度計(jì)算進(jìn)行并行改進(jìn)，將計(jì)算量分布到各機(jī)器節(jié)點(diǎn)中，使用基于Hadoop改進(jìn)的共詞分析法實(shí)現(xiàn)效用矩陣填充，無需將巨大的效用矩陣全部加載內(nèi)存，通過行列向量變換方便MapReduce以行向量進(jìn)行計(jì)算，使算法時(shí)間復(fù)雜度從O(m3n)降低到O(mn)，更加適用于大數(shù)據(jù)環(huán)境下的推薦。在算法實(shí)驗(yàn)與分析中，提出雙