基于搜索框-資源池的云計(jì)算模型研究.pdf

1、本文以電子商務(wù)平臺(tái)供應(yīng)鏈云預(yù)研項(xiàng)目的研究開(kāi)發(fā)為應(yīng)用背景，對(duì)基于搜索框／資源池的云計(jì)算模型進(jìn)行了研究，在分析當(dāng)前集中式搜索引擎系統(tǒng)的基礎(chǔ)上，總結(jié)了現(xiàn)有系統(tǒng)的優(yōu)缺點(diǎn)，針對(duì)現(xiàn)有系統(tǒng)的缺陷和不足，建立基于搜索框／資源池的云計(jì)算框架，采用面向?qū)ο蟮姆椒ㄕ摓橹笇?dǎo)，重點(diǎn)側(cè)重于云搜索引擎的分析設(shè)計(jì)與實(shí)現(xiàn)。主要研究工作在于對(duì)傳統(tǒng)搜索引擎的功能模塊加以改進(jìn)，對(duì)搜索器、索引器、查詢(xún)器各部分進(jìn)行了詳細(xì)分析，采用分布式云計(jì)算技術(shù)進(jìn)行重新設(shè)計(jì)。同時(shí)，應(yīng)用Map/R

2、educe編程模型思想，把數(shù)據(jù)計(jì)算任務(wù)封裝到Map函數(shù)中，把數(shù)據(jù)合并任務(wù)封裝到Reduce函數(shù)中。經(jīng)過(guò)以上改進(jìn)的搜索引擎系統(tǒng)可以部署在廉價(jià)機(jī)器構(gòu)成的Hadoop分布式環(huán)境中，并顯著提高搜索引擎系統(tǒng)的查準(zhǔn)率、查全率和響應(yīng)速度。
　　首先，文章給出基于搜索框／資源池的云計(jì)算框架，對(duì)云計(jì)算定義及特點(diǎn)、搜索框、搜索引擎、資源池各部分做了初步的探討。之后探討了云計(jì)算關(guān)鍵技術(shù)和典型的云計(jì)算平臺(tái)、并行工作流和并行編程模式以及資源池和分布式文件系

3、統(tǒng)，分析了分布式文件系統(tǒng)以及Map/Reduce編程模型在數(shù)據(jù)處理中的具體應(yīng)用，同時(shí)討論了搜索引擎相關(guān)的倒排文檔索引機(jī)制，中文分詞原理以及相關(guān)的工具軟件的使用范圍，對(duì)傳統(tǒng)搜索引擎并行化改進(jìn)也進(jìn)行了初步討論。
　　接著，依據(jù)搜索引擎各子系統(tǒng)業(yè)務(wù)功能，闡述了分布式搜索引擎系統(tǒng)的設(shè)計(jì)思想。并對(duì)搜索引擎的核心三大部件：搜索器、索引器和查詢(xún)器進(jìn)行了功能設(shè)計(jì)，并給出了各個(gè)部件的工作執(zhí)行流程，并用BPEL業(yè)務(wù)流程描述語(yǔ)言給出了形式化描述，利用M

4、ap/Reduce模型改進(jìn)這三個(gè)功能部件，使它們具有分布式處理的能力。
　　然后，根據(jù)功能設(shè)計(jì)和分布式搜索器、索引器、查詢(xún)器部件的內(nèi)部執(zhí)行過(guò)程，結(jié)合BPEL業(yè)務(wù)流程描述，給出類(lèi)關(guān)系實(shí)現(xiàn)圖，對(duì)單機(jī)運(yùn)行模式的nutch搜索引擎部件進(jìn)行云分布式改進(jìn)，進(jìn)行系統(tǒng)的代碼編程實(shí)現(xiàn)，并探討了實(shí)現(xiàn)過(guò)程中的難點(diǎn)，及其解決方法。
　　最后，進(jìn)行開(kāi)發(fā)環(huán)境搭建，實(shí)現(xiàn)了面向電子商務(wù)的云搜索引擎，給出典型分布式搜索器部件實(shí)驗(yàn)抓取數(shù)據(jù)的比對(duì)和分析,充分驗(yàn)證