面向大數(shù)據(jù)的云搜索引擎設(shè)計(jì)及并行K均值聚類算法研究.pdf

1、本文針對(duì)目前面向大數(shù)據(jù)搜索引擎本中存在的結(jié)構(gòu)復(fù)雜、實(shí)施難度高、維護(hù)成本高等問(wèn)題進(jìn)行分析研究，提出一種基于YARN（Hadoop2.0）云計(jì)算框架面向大數(shù)據(jù)的云搜索引擎設(shè)計(jì)方法。并針對(duì)面向大數(shù)據(jù)的搜索引擎中的并行化 K均值聚類算法存在自適應(yīng)性差的問(wèn)題進(jìn)行重點(diǎn)研究，提出了一種并行化自適應(yīng)Canopy-K-means算法，在本文搭建的Spark on YARN云計(jì)算平臺(tái)上進(jìn)行了對(duì)比實(shí)驗(yàn)，驗(yàn)證了算法的有效性。
　　本文在研究面向大數(shù)據(jù)的云

2、搜索引擎設(shè)計(jì)方法及所需的數(shù)據(jù)挖掘算法方面所做的主要工作有：
　?、偻ㄟ^(guò)對(duì)目前國(guó)內(nèi)外的研究機(jī)構(gòu)及科技公司在面向大數(shù)據(jù)的搜索引擎方面的相關(guān)進(jìn)展與成果進(jìn)行調(diào)研與分析，總結(jié)了目前該方向的發(fā)展現(xiàn)狀與存在的難點(diǎn)。在此基礎(chǔ)上對(duì)Hadoop云計(jì)算框架進(jìn)行了詳細(xì)的研究、對(duì)其核心的Map-Reduce計(jì)算模型進(jìn)行了分析，在此基礎(chǔ)上還對(duì)Spark云計(jì)算框架的相關(guān)理論進(jìn)行了研究與分析，最后還實(shí)際完成了Spark on YARN云計(jì)算平臺(tái)的搭建。
　

3、?、诒疚幕趯?duì) YARN云計(jì)算框架的研究提出了一種面向云大數(shù)據(jù)的搜索引擎設(shè)計(jì)方法，該方法涉及兩個(gè)階段：數(shù)據(jù)組織階段與對(duì)比檢索階段。該方法以設(shè)計(jì)一個(gè)面向大數(shù)據(jù)人臉的搜索引擎為應(yīng)用實(shí)例，詳細(xì)介紹了如何基于本文所提出的面向大數(shù)據(jù)的搜索引擎設(shè)計(jì)方法，設(shè)計(jì)實(shí)施一個(gè)基于 YARN云計(jì)算框架的面向大數(shù)據(jù)人臉識(shí)別的搜索引擎。
　?、郾疚膶?duì)面向大數(shù)據(jù)的云搜索引擎數(shù)據(jù)組織階段中數(shù)據(jù)挖掘算法進(jìn)行深入的研究，提出了一種基于Map-Reduce計(jì)算模型同時(shí)

4、運(yùn)行于Spark云計(jì)算框架的并行化自適應(yīng)Canopy-K-means聚類算法。該算法的特點(diǎn)是使用統(tǒng)計(jì)學(xué)的方法，對(duì)并行Canopy-K-means算法進(jìn)行了自適應(yīng)參數(shù)估計(jì)優(yōu)化，解決了Canopy過(guò)程中參數(shù)依賴人工經(jīng)驗(yàn)選擇的問(wèn)題，并使用Spark云計(jì)算框架進(jìn)行實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明：并行化自適應(yīng)Canopy-K-means算法較普通的Canopy-K-means算法在聚類效率的穩(wěn)定性上有較大的提高，而且在基于Spark on YARN云計(jì)算平臺(tái)