云環(huán)境下搜索引擎系統(tǒng)關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)內(nèi)容爆發(fā)式的增長，搜索引擎成為人們使用互聯(lián)網(wǎng)時的主要入口。然而，面對當(dāng)前互聯(lián)網(wǎng)中的海量信息，傳統(tǒng)搜索引擎在抓取速度、存儲容量以及查準(zhǔn)率和查全率方面很難適應(yīng)現(xiàn)在的互聯(lián)網(wǎng)環(huán)境。本文結(jié)合云計算相關(guān)技術(shù)，研究了搜索引擎系統(tǒng)中文本去重、頁面索引以及網(wǎng)絡(luò)信息采集這三個關(guān)鍵技術(shù)，具體工作如下：
　　首先，為了減少存儲系統(tǒng)中重復(fù)頁面的數(shù)量，本文在傳統(tǒng)的文本去重算法Shingling的基礎(chǔ)上，結(jié)合LCS問題的解決方法，提出了與位置相關(guān)的改

2、進的Shingling去重算法SWLR(ShinglingwithLocationRelationship)。提高了文本去重的查準(zhǔn)率和查全率。通過與基于比特位的過濾算法相結(jié)合，本文進一步提出了快速SWLR算法，實驗結(jié)果表明，快速SWLR算法在沒有降低相似性檢測效果的前提下，顯著提升了SWLR算法運算的性能。
　　其次，為了提高頁面索引中短語查詢的效率，本文在倒排索引模型的基礎(chǔ)上提出了基于鏈表結(jié)構(gòu)的倒排索引模型，通過在倒排索引模型的

3、Term節(jié)點中增加指向相鄰關(guān)鍵詞的指針，在通過關(guān)鍵詞短語進行查詢時，可以在單位時間內(nèi)查找到相鄰的關(guān)鍵詞并進行匹配。實驗結(jié)果表明，基于鏈表結(jié)構(gòu)的倒排索引模型在索引構(gòu)建、查詢以及內(nèi)存消耗方面均具有性能優(yōu)勢。
　　最后，本文結(jié)合云計算環(huán)境，提出了一種基于Hadoop的網(wǎng)絡(luò)爬蟲系統(tǒng)。在該系統(tǒng)中，解析與爬行兩個子系統(tǒng)并行運行，從而充分利用計算機的I/O資源和計算資源。實驗結(jié)果表明，本文提出的網(wǎng)絡(luò)爬蟲系統(tǒng)具有很好的系統(tǒng)擴展能力和負載均衡能力。