大數(shù)據(jù)環(huán)境下群體計算任務(wù)分配和關(guān)聯(lián)分析算法的優(yōu)化研究.pdf

1、隨著大數(shù)據(jù)時代到來，數(shù)據(jù)規(guī)模劇增。盡管大數(shù)據(jù)帶來了豐富的信息和知識，但大數(shù)據(jù)的規(guī)模繁雜性、高速增長性、形式多樣性和價值密度低等特點(diǎn)也對傳統(tǒng)數(shù)據(jù)處理技術(shù)帶來了嚴(yán)峻的挑戰(zhàn)。因此，亟須適應(yīng)于大數(shù)據(jù)環(huán)境的大數(shù)據(jù)處理技術(shù)。
　　大數(shù)據(jù)處理技術(shù)可以劃分為:人機(jī)協(xié)作群體計算技術(shù)和數(shù)據(jù)處理算法技術(shù)。本文已在這兩方面開展了研究工作，取得了如下兩方面的研究成果:
　?。ㄒ唬┰谌藱C(jī)協(xié)作群體計算技術(shù)方面，針對大數(shù)據(jù)任務(wù)對復(fù)雜認(rèn)知推理技術(shù)的依賴問題，

2、主要通過優(yōu)化群體計算的方法來解決。其中合理的分配策略是計算的重要階段，本文提出了一種基于用戶主題精確感知的大數(shù)據(jù)群體任務(wù)分配算法。為了提高計算的準(zhǔn)確率，首先通過基于自適應(yīng)模糊聚類與主題提取模型相結(jié)合的方法，提取已發(fā)布群體任務(wù)的主題;然后構(gòu)建特定群體任務(wù)模型和用戶模型，并計算關(guān)聯(lián)度;再利用已提交高質(zhì)量答案的歷史任務(wù)迭代地檢測新用戶的真實主題并計算初始準(zhǔn)確率;其次，通過邏輯回歸(LR)方法預(yù)測用戶能參與到某類任務(wù)的可能性并得到參與用戶候選序

3、列，在充分了解用戶真實主題和對應(yīng)主題上的準(zhǔn)確率以及用戶誠信度的情況下進(jìn)行精準(zhǔn)分配。最后通過實驗，驗證本文所研究算法更精準(zhǔn)，尤其適用于大數(shù)據(jù)環(huán)境，并一定程度上節(jié)約了隨機(jī)算法需多次重復(fù)分配確保準(zhǔn)確率的花銷。
　　（二）在數(shù)據(jù)處理算法技術(shù)方面，針對海量數(shù)據(jù)處理的效率需求問題，本文提出了一種基于云計算的改進(jìn)算法并行化方法。傳統(tǒng)算法已不能滿足對大數(shù)據(jù)的處理需求。其中，關(guān)聯(lián)分析算法是數(shù)據(jù)處理技術(shù)的研究熱點(diǎn)之一。本文對關(guān)聯(lián)分析Apriori算法

4、的改進(jìn)工作主要包括兩部分內(nèi)容:首先，提出了一種基于矩陣的Apriori算法改進(jìn)方法(M_Apriori)，該方法的創(chuàng)新之處在于構(gòu)造矩陣的方式和計算步驟的改變，算法采用基于矩陣的數(shù)據(jù)結(jié)構(gòu)進(jìn)行存儲與處理，只需掃描一次數(shù)據(jù)庫，減少了數(shù)據(jù)庫I/O開銷，通過構(gòu)造支持頻數(shù)矩陣，利用邏輯“與”運(yùn)算對算法核心操作步驟（連接與剪枝）進(jìn)行改進(jìn)，并進(jìn)行了理論驗證與分析。然后提出了一種基于Spark的M_Apriori算法并行化方法(SPM_Apriori)，