一種基于MPI和MapReduce的分布式向量計算框架的研究與實(shí)現(xiàn).pdf

1、機(jī)器學(xué)習(xí)是近20年來興起的多領(lǐng)域交叉學(xué)科，涉及多門學(xué)科，諸如概率論、統(tǒng)計學(xué)、逼近論、凸分析等等。機(jī)器學(xué)習(xí)算法目前已經(jīng)有了廣泛的應(yīng)用，例如數(shù)據(jù)挖掘、自然語言處理、搜索引擎等等。當(dāng)前各種機(jī)器學(xué)習(xí)算法已經(jīng)有開源的單機(jī)實(shí)現(xiàn)，但是隨著互聯(lián)網(wǎng)的高速發(fā)展，用戶數(shù)據(jù)量急劇增加，單機(jī)實(shí)現(xiàn)已經(jīng)不能滿足工業(yè)界的需求，為了滿足算法的高性能實(shí)現(xiàn)，開發(fā)人員需要利用MPI，Hadoop/MapReduce等計算框架開發(fā)并行程序。
　　 MPI效率高，編程靈活

2、，擴(kuò)展性好，適合高性能計算，然而也存在一些缺點(diǎn):MPI接口眾多，學(xué)習(xí)成本高;當(dāng)前使用MPI實(shí)現(xiàn)高性能程序時，往往需要考慮數(shù)據(jù)切分、網(wǎng)絡(luò)通信等問題，缺少類似MapReduce的計算模型，增加了程序員的負(fù)擔(dān);算法實(shí)現(xiàn)專有化不利用代碼復(fù)用，缺少統(tǒng)一抽象的分布式數(shù)據(jù)結(jié)構(gòu);程序容錯性較差。
　　 針對以上缺點(diǎn)，本論文綜述了MPI容錯方案和MapReduce的應(yīng)用與改進(jìn)，結(jié)合抽象向量接口設(shè)計，提出了一種MPI下基于向量和MapReduce的