基于分布式架構(gòu)的元搜索引擎系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展和計算機技術(shù)的廣泛應用，人類已經(jīng)步入了信息爆炸的時代。在互聯(lián)網(wǎng)上涌現(xiàn)的大量信息以及信息結(jié)構(gòu)的多樣化，使得人們很難在沒有其它工具幫助的情況下快速搜尋到自己想要的信息。中國互聯(lián)網(wǎng)信息中心CNNIC于2012年公布的互聯(lián)網(wǎng)用戶白皮書中明確提出，隨著互聯(lián)網(wǎng)的快速發(fā)展，互聯(lián)網(wǎng)上的數(shù)據(jù)繼續(xù)保持著爆炸式的增長模式，每年的增長率已經(jīng)超過10倍。用戶在互聯(lián)網(wǎng)上獲取信息的渠道雖然呈現(xiàn)多元化發(fā)展的趨勢，但門戶網(wǎng)站、搜索引擎、博客、微博

2、、論壇、社交網(wǎng)站等仍是用戶獲取信息的主要渠道。
　　 元搜索引擎是信息檢索中Web檢索技術(shù)不斷發(fā)展的產(chǎn)物，由于它能夠集合多個成員搜索引擎的檢索結(jié)果，并通過相應的算法優(yōu)化檢索結(jié)果的排序，所以它返回的結(jié)果能大大提高檢索結(jié)果的查全率和查準率，因此受到了互聯(lián)網(wǎng)用戶的廣泛歡迎。但是，隨著成員搜索引擎數(shù)量上升，返回結(jié)果較多時，檢索的效率以及文檔最后的排序問題成為了現(xiàn)在元搜索引擎發(fā)展的瓶頸。
　　 分布式系統(tǒng)的發(fā)展，旨在聯(lián)合網(wǎng)絡(luò)上的單

3、個主機，將一個復雜的大任務分解為多個規(guī)模小、復雜度低的子任務。通過利用網(wǎng)絡(luò)上大量的廉價機處理規(guī)模較小、復雜度低的子任務，可以將串行工作模式改為并行工作的模式，這樣的改進可以大大提高用戶檢索的效率。
　　 本文首先闡述了近幾年國內(nèi)外元搜索引擎系統(tǒng)的發(fā)展現(xiàn)狀，在此基礎(chǔ)上引出了論文的主要研究內(nèi)容。針對元搜索引擎系統(tǒng)在檢索結(jié)果排序融合方面的不足，本文對已有的基于位置信息排序算法進行了改進。在將文檔的位置信息轉(zhuǎn)換為文檔得分時，增加了對成員

4、搜索引擎?zhèn)€數(shù)因素的考慮，同時，對文檔的URL通過構(gòu)造域名緩存表來計算文檔URL的分值;在成員搜索引擎權(quán)值方面，采用多元線性回歸中參數(shù)的最小二乘估計法計算出各成員系統(tǒng)的權(quán)值;最后根據(jù)線性組合算法模型計算出文檔總評分并作為排序依據(jù)。
　　 為滿足用戶對檢索實時性的要求，本文將分布式系統(tǒng)中的主從模式結(jié)構(gòu)引入到元搜索引擎系統(tǒng)設(shè)計中。具體地，采用基于HTTP/1.1的通信協(xié)議作為各個工作模塊的傳輸協(xié)議，以各下載節(jié)點的CPU負載率作為分發(fā)模