面向農(nóng)業(yè)領(lǐng)域的垂直搜索技術(shù)的研究.pdf

1、隨著網(wǎng)絡(luò)信息的爆炸性增長(zhǎng)，人們?cè)诰W(wǎng)上查詢所需信息的難度變得越來(lái)越大，搜索引擎的出現(xiàn)在某種程度上緩解了這一矛盾。
　　 通用搜索引擎分布在不同領(lǐng)域、不同地方為用戶提供服務(wù)，在早期設(shè)立較多，在當(dāng)前的應(yīng)用仍然是最廣。雖然它相對(duì)容易實(shí)現(xiàn)相關(guān)檢索，但其覆蓋面狹窄，檢索效率低，隨著Web的迅速發(fā)展，已顯得越來(lái)越力不從心了。為了改變這種狀況，它們中的一些搜索引擎改變了原來(lái)收集綜合信息的方式，轉(zhuǎn)為集中收集某一領(lǐng)域的信息，為領(lǐng)域檢索用戶提供了較為

2、精確的檢索結(jié)果。如果在某個(gè)特定的領(lǐng)域內(nèi)要得到相對(duì)全面、準(zhǔn)確的搜索結(jié)果，就必須改變傳統(tǒng)的搜索方式，面向某個(gè)特定領(lǐng)域的垂直搜索技術(shù)的研究即是在這一背景下產(chǎn)生的。然而對(duì)基于關(guān)鍵詞的檢索，同一個(gè)關(guān)鍵詞在不同的領(lǐng)域具有著不同的意義，這也是造成通用引擎數(shù)據(jù)查準(zhǔn)率低的原因，因?yàn)橥ㄓ盟阉饕鏌o(wú)法識(shí)別領(lǐng)域用戶的真實(shí)意圖。農(nóng)業(yè)領(lǐng)域作為專(zhuān)題領(lǐng)域同樣存在很多具有領(lǐng)域意義的一些關(guān)鍵詞，如“富士”、“玉米”等，對(duì)于領(lǐng)域內(nèi)檢索用戶，“富士”對(duì)應(yīng)的是蘋(píng)果而非富士數(shù)碼或

3、者富士山之類(lèi)的數(shù)據(jù)，“玉米”對(duì)應(yīng)的是農(nóng)產(chǎn)品而非李宇春玉米基地?cái)?shù)據(jù)。
　　 面向農(nóng)業(yè)領(lǐng)域的垂直搜索技術(shù)的研究旨在搜索引擎能夠理解領(lǐng)域用戶的真實(shí)意圖，反饋領(lǐng)域用戶所需的數(shù)據(jù)信息。首先，在研究成員通用搜索引擎的選擇策略及搜索引擎結(jié)果處理方法的基礎(chǔ)上構(gòu)建了元搜索引擎，其次分析了如何利用正則表達(dá)式抓取農(nóng)業(yè)領(lǐng)域內(nèi)網(wǎng)頁(yè)信息內(nèi)容，再結(jié)合領(lǐng)域分析的方法獲取領(lǐng)域特征詞完成農(nóng)業(yè)領(lǐng)域網(wǎng)頁(yè)特征庫(kù)的構(gòu)建，最終利用此特征庫(kù)對(duì)元搜索引擎檢索結(jié)果進(jìn)行結(jié)果處理操作

4、，并反饋?zhàn)罱K結(jié)果。三部分結(jié)合完成農(nóng)業(yè)領(lǐng)域內(nèi)的垂直技術(shù)的研究。研究工作如下：
　　 首先，在了解了通用搜索引擎的分類(lèi)及其關(guān)鍵技術(shù)基礎(chǔ)之上，重點(diǎn)研究了元搜索引擎的結(jié)構(gòu)原理和實(shí)現(xiàn)元搜索引擎過(guò)程中用到的關(guān)鍵技術(shù)：成員搜索引擎的選擇策略和搜索引擎結(jié)果處理方法。在成員搜索引擎的選擇策略問(wèn)題上，對(duì)比了現(xiàn)有的成員搜索引擎選擇方法，并對(duì)它們進(jìn)行了分析、比較和評(píng)價(jià)，最終歸納設(shè)計(jì)了適合本文的成員搜索引擎的選擇策略。此外，從檢索效果來(lái)講，成員搜索引擎反

5、饋的查詢結(jié)果信息總是希望能夠更貼近于最終結(jié)果，然而根據(jù)成員搜索引擎各自查詢機(jī)制查詢的結(jié)果雜亂無(wú)章，結(jié)果處理操作是元搜索引擎構(gòu)建的另一個(gè)重點(diǎn)，在對(duì)不同成員搜索引擎返回結(jié)果處理中，介紹了元搜索引擎在結(jié)果處理中一些常用的方法，對(duì)這些方法進(jìn)行了比較分析，并提出了合適的搜索引擎結(jié)果處理的方法。
　　 其次，領(lǐng)域網(wǎng)頁(yè)特征庫(kù)的構(gòu)建是為了對(duì)元搜索引擎初次檢索結(jié)果集進(jìn)行篩選排序處理的，以此來(lái)達(dá)到去除非領(lǐng)域相關(guān)網(wǎng)頁(yè)和按照規(guī)則重排序的目的，實(shí)現(xiàn)查全到