大數據環(huán)境下群體計算任務分配和關聯分析算法的優(yōu)化研究.pdf

1、隨著大數據時代到來，數據規(guī)模劇增。盡管大數據帶來了豐富的信息和知識，但大數據的規(guī)模繁雜性、高速增長性、形式多樣性和價值密度低等特點也對傳統(tǒng)數據處理技術帶來了嚴峻的挑戰(zhàn)。因此，亟須適應于大數據環(huán)境的大數據處理技術。
　　大數據處理技術可以劃分為:人機協作群體計算技術和數據處理算法技術。本文已在這兩方面開展了研究工作，取得了如下兩方面的研究成果:
　　（一）在人機協作群體計算技術方面，針對大數據任務對復雜認知推理技術的依賴問題，

2、主要通過優(yōu)化群體計算的方法來解決。其中合理的分配策略是計算的重要階段，本文提出了一種基于用戶主題精確感知的大數據群體任務分配算法。為了提高計算的準確率，首先通過基于自適應模糊聚類與主題提取模型相結合的方法，提取已發(fā)布群體任務的主題;然后構建特定群體任務模型和用戶模型，并計算關聯度;再利用已提交高質量答案的歷史任務迭代地檢測新用戶的真實主題并計算初始準確率;其次，通過邏輯回歸(LR)方法預測用戶能參與到某類任務的可能性并得到參與用戶候選序

3、列，在充分了解用戶真實主題和對應主題上的準確率以及用戶誠信度的情況下進行精準分配。最后通過實驗，驗證本文所研究算法更精準，尤其適用于大數據環(huán)境，并一定程度上節(jié)約了隨機算法需多次重復分配確保準確率的花銷。
　?。ǘ┰跀祿幚硭惴夹g方面，針對海量數據處理的效率需求問題，本文提出了一種基于云計算的改進算法并行化方法。傳統(tǒng)算法已不能滿足對大數據的處理需求。其中，關聯分析算法是數據處理技術的研究熱點之一。本文對關聯分析Apriori算法

4、的改進工作主要包括兩部分內容:首先，提出了一種基于矩陣的Apriori算法改進方法(M_Apriori)，該方法的創(chuàng)新之處在于構造矩陣的方式和計算步驟的改變，算法采用基于矩陣的數據結構進行存儲與處理，只需掃描一次數據庫，減少了數據庫I/O開銷，通過構造支持頻數矩陣，利用邏輯“與”運算對算法核心操作步驟（連接與剪枝）進行改進，并進行了理論驗證與分析。然后提出了一種基于Spark的M_Apriori算法并行化方法(SPM_Apriori)，