分布式網(wǎng)絡(luò)爬蟲(chóng)在農(nóng)產(chǎn)品搜索系統(tǒng)中的應(yīng)用與研究.pdf

1、分類號(hào)：密級(jí)：UDC：學(xué)號(hào)：416114514065南昌大學(xué)專業(yè)學(xué)位研究生學(xué)位論文分布式網(wǎng)絡(luò)爬蟲(chóng)在農(nóng)產(chǎn)品搜索系統(tǒng)中的應(yīng)用與研究分布式網(wǎng)絡(luò)爬蟲(chóng)在農(nóng)產(chǎn)品搜索系統(tǒng)中的應(yīng)用與研究TheApplicationResearchofDistributedWebCrawlerinAgriculturalSearchingSystem袁龍濤培養(yǎng)單位（院、系）：信息工程學(xué)院指導(dǎo)教師姓名、職稱：劉捷副教授專業(yè)學(xué)位種類：工程碩士專業(yè)領(lǐng)域名稱：計(jì)算機(jī)技術(shù)論文答辯

2、日期：2016年5月21日答辯委員會(huì)主席：評(píng)閱人：年月日摘要I摘要摘要在互聯(lián)網(wǎng)信息規(guī)?？焖僭鲩L(zhǎng)的背景下，要想將互聯(lián)網(wǎng)上各種各樣的信息全部涵蓋和收集顯得不太現(xiàn)實(shí)，即使是谷歌、百度這樣的搜索引擎公司也只能收集到不到20%的互聯(lián)網(wǎng)信息[1]。通用搜索引擎在人們的生活中起著越來(lái)越關(guān)鍵的作用，但是隨著人們需求的多元化，以及通用引擎自身局限性，通常精確的搜索需求得不到滿足。網(wǎng)絡(luò)商品信息繁多，各種農(nóng)產(chǎn)品隨著產(chǎn)地和時(shí)間的不同，價(jià)格變化大，而且農(nóng)產(chǎn)品交易

3、網(wǎng)站數(shù)量眾多，如何快捷的得到自己感興趣的網(wǎng)絡(luò)農(nóng)產(chǎn)品信息就是一個(gè)值得研究的問(wèn)題了。由于網(wǎng)絡(luò)信息量巨大，即使是農(nóng)產(chǎn)品這樣一個(gè)非常狹小的領(lǐng)域，也會(huì)涉及到海量的信息。建立一個(gè)比價(jià)系統(tǒng)首要的就是信息源的選取，在海量信息面前，單機(jī)爬蟲(chóng)顯然是作用有限的。本文提出了將網(wǎng)絡(luò)爬蟲(chóng)和分布式的系統(tǒng)進(jìn)行結(jié)合，在多機(jī)集群的分布式系統(tǒng)中實(shí)現(xiàn)的網(wǎng)絡(luò)爬蟲(chóng)，從而提高信息下載收集的效率。本文所構(gòu)建的系統(tǒng)是在Nutch這個(gè)成熟的搜索引擎架構(gòu)上進(jìn)行功能化和特性化的改造，使系統(tǒng)可

4、以針對(duì)農(nóng)產(chǎn)品的信息建立索引，并提供搜索和查詢功能。由于本文研究的是針對(duì)特定領(lǐng)域的商品信息，因此在對(duì)商品信息進(jìn)行搜索和建立索引時(shí)，就會(huì)涉及到URL的過(guò)濾和主題相關(guān)性的判斷問(wèn)題。我們結(jié)合了HTMLParaser和正則表達(dá)式對(duì)URL進(jìn)行過(guò)濾，在對(duì)網(wǎng)頁(yè)的內(nèi)容主題相關(guān)性判定時(shí)，借助于空間向量模型。在收集完相關(guān)網(wǎng)頁(yè)信息后，在進(jìn)行建立搜索和搜索服務(wù)提供時(shí)，都會(huì)涉及到分詞操作，由于Nutch中原有的分詞操作不能夠較好的實(shí)現(xiàn)中文分詞，我們選用了對(duì)中文分詞

5、支持比較好的IKAnalyzer來(lái)完成中文的分詞。索引操作是對(duì)于收集到的信息進(jìn)行一個(gè)預(yù)先的組織優(yōu)化，使信息能夠快速的被定位到。Nutch系統(tǒng)中采用的檢索，由Lucene提供的全文檢索系統(tǒng)，對(duì)網(wǎng)頁(yè)信息進(jìn)行索引建立，為高效搜索提供支持。最后將基于Nutch的面向農(nóng)產(chǎn)品商品信息的分布式爬蟲(chóng)系統(tǒng)，進(jìn)行部署進(jìn)行實(shí)驗(yàn)驗(yàn)證，發(fā)現(xiàn)分布式的爬蟲(chóng)相對(duì)于普通爬蟲(chóng)還是存在著并行的優(yōu)勢(shì)。整個(gè)系統(tǒng)還能夠很好的對(duì)網(wǎng)絡(luò)中農(nóng)產(chǎn)品建立索引并集成這些信息，為用戶提供農(nóng)業(yè)產(chǎn)品