WEB信息資源主題搜索技術(shù)研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的發(fā)展、Web3.0時(shí)代的到來以及信息需求的變化，通用搜索引擎的缺點(diǎn)表現(xiàn)得越來越明顯。互聯(lián)網(wǎng)上每天都有海量信息生成、共享和更新，而目前通用搜索引擎更新的時(shí)間相對(duì)較久，不能滿足人們?nèi)找嬖鲩L的個(gè)性化服務(wù)的需要，主題搜索技術(shù)的出現(xiàn)將很好地解決這一問題。
　　本文對(duì)通用搜索引擎的出現(xiàn)、發(fā)展以及搜索引擎的基本知識(shí)、技術(shù)進(jìn)行了研究，并系統(tǒng)的分析了搜索引擎的系統(tǒng)結(jié)構(gòu)、關(guān)鍵技術(shù)；在此基礎(chǔ)上對(duì)通用搜索引擎與主題搜索引擎的關(guān)鍵技術(shù)進(jìn)行了重

2、點(diǎn)研究、對(duì)比，并對(duì)主題搜索引擎中的關(guān)鍵技術(shù)進(jìn)行了剖析。
　　在上述研究的基礎(chǔ)上，本文在Nutch開源軟件的基礎(chǔ)上設(shè)計(jì)實(shí)現(xiàn)了垂直搜索引擎的各個(gè)模塊，主要就主題判定、網(wǎng)頁去重、中文分詞等模塊進(jìn)行了算法的設(shè)計(jì)與改進(jìn)，使得垂直搜索引擎的準(zhǔn)確率、召回率和效率都遠(yuǎn)遠(yuǎn)高于通用搜索引擎。主要工作包括:
　　1)就目前比較成熟的網(wǎng)絡(luò)爬蟲策略算法的PageRank、HITS、Partial PageRank進(jìn)行了研究，針對(duì)現(xiàn)存的問題提出了新的爬

3、取策略IPR(Improved PageRank)算法，可以實(shí)現(xiàn)主題信息的重點(diǎn)提取與保存。
　　2)各式各樣的網(wǎng)站層出不窮，相同的內(nèi)容可能被幾個(gè)網(wǎng)站同時(shí)報(bào)道、登錄，這將造成網(wǎng)頁的重復(fù)爬取與存取，所以網(wǎng)頁的去重是本文研究的重點(diǎn)之一，主要就網(wǎng)頁信息的提取、網(wǎng)頁相似度的對(duì)比判定進(jìn)行了研究改進(jìn)，降低存儲(chǔ)網(wǎng)頁的重復(fù)率。
　　3)中文分詞是中文搜索引擎的關(guān)鍵技術(shù)之一，好的中文分詞是搜索引擎高召回率、高效率的保障，本文在最大匹配算法的基礎(chǔ)