針對特定領(lǐng)域的網(wǎng)絡(luò)檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)信息的發(fā)展web信息與日俱增，目前越來越多的人開始了解并且使用網(wǎng)絡(luò)，將網(wǎng)絡(luò)作為搜集知識獲得幫助的必需品，但是隨著網(wǎng)絡(luò)中信息量的劇增，使得用戶在獲取信息的時候也會大量獲得無關(guān)信息，因此網(wǎng)絡(luò)信息檢索越來越體現(xiàn)其重要性。目前網(wǎng)絡(luò)上存在的檢索系統(tǒng)很多，但是現(xiàn)存的檢索系統(tǒng)還是不能很好滿足用戶的需求，其體現(xiàn)在目前網(wǎng)絡(luò)檢索中非專業(yè)的用戶很多，用戶不能夠很好地確定關(guān)于自己選擇的查詢問句是否能夠完美體現(xiàn)自己的意圖，同時也不能準(zhǔn)確地使用各個搜索引擎

2、提供的高級檢索符號，因此往往檢索的結(jié)果不能很好滿足用戶的需求；同時由于檢索結(jié)果按照與查詢的相關(guān)性排序使得用戶往往發(fā)現(xiàn)查詢的結(jié)果與自己所需要的信息是不相關(guān)的。本文針對上述問題開發(fā)了一個針對特定領(lǐng)域的網(wǎng)絡(luò)檢索系統(tǒng)。該系統(tǒng)首先對網(wǎng)絡(luò)中的信息進(jìn)行采集，其根據(jù)用戶的定義選取與用戶需求相關(guān)的信息，冗余過濾后按照其來源分級存放，同時防止采集由于頁面的互相引用而造成死循環(huán)；并通過語義處理技術(shù)對文本進(jìn)行分析，融合段落分析和關(guān)鍵詞抽取技術(shù)抽取文檔關(guān)鍵詞，建

3、立倒排索引后保存；最后對用戶提供資源查詢服務(wù)，根據(jù)用戶查詢請求該系統(tǒng)在索引中快速確定該問句對應(yīng)的檢索結(jié)果并對結(jié)果聚類，同時給出類別描述信息，然后將類別信息按照每個類別與查詢的相關(guān)性進(jìn)行排序返回給用戶。主要工作包括：
　　 ⑴快速抓取網(wǎng)頁，按照用戶需求抓取具有特定特征的網(wǎng)頁，在抓取網(wǎng)頁的同時對網(wǎng)頁進(jìn)行冗余分析，去除冗余數(shù)據(jù)并對網(wǎng)頁按照其鏈接位置在物理位置上分類存儲。
　　 ⑵針對特征領(lǐng)域信息進(jìn)行檢索。此系統(tǒng)分前臺和后臺兩部

4、分，前臺實(shí)現(xiàn)用戶檢索，后臺實(shí)現(xiàn)索引構(gòu)建。實(shí)驗(yàn)表明此索引構(gòu)建方法要遠(yuǎn)好于基于詞頻、位置的索引構(gòu)建方法。
　　 ⑶采用聚類方式對用戶的檢索信息進(jìn)行組織，同時抽取類別詞來描述每個類別的主題。此方法能夠提高檢索效率，并且通過主題技術(shù)能夠獲得更加精確的類別主題詞。
　　 ⑷與Google和百度等通用搜索引擎相比，本系統(tǒng)在信息采集和索引構(gòu)建時關(guān)注于特定的領(lǐng)域，因此在構(gòu)建索引時力圖更加精確地反映文檔的主題，抽取更加明確的主題詞作為索引