基于Nutch的醫(yī)學領域垂直搜索引擎系統(tǒng)的研究與實現.pdf

1、隨著近幾年互聯(lián)網的快速發(fā)展，人們獲取信息的方式越來越多，各種各樣的信息充斥在人們的生活中，給人們帶來了極大的便利，隨之而來的還有面對豐富信息的無所適從。搜索引擎的出現極大地緩解了這一現狀，然而，隨著互聯(lián)網上網頁數目呈現指數級速度增長，通用搜索引擎在提高搜索效率方面愈發(fā)艱難，而垂直搜索引擎憑借其高度的信息集中度和較強的專業(yè)領域知識，成為時下研究的熱點。因此，各領域內垂直搜索引擎平臺相繼出現，但在與人們生活健康息息相關的醫(yī)療衛(wèi)生領域卻依然沒

2、有一個較好的搜索平臺，人們對于各種疾病的預防和治療信息大多只能通過醫(yī)生了解，信息渠道單一，而且由于地理環(huán)境、經濟發(fā)展等因素限制，優(yōu)勢醫(yī)療資源發(fā)展不均衡。若能實現一個醫(yī)療領域的垂直搜索引擎，人們足不出戶就可獲取醫(yī)療信息，這將有利于緩解我國目前醫(yī)療意識和基礎設施薄弱的問題。
　　本文基于Nutch開源搜索框架，針對垂直搜索引擎中的主題爬蟲模塊和信息檢索模塊進行分析和設計，并最終實現醫(yī)學領域的垂直搜索引擎。在該垂直搜索引擎的搭建中，主題

3、爬蟲模塊的構建一直是當下研究的熱點，本文通過對主題爬蟲爬行策略中的Fish-Search算法進行分析試驗，依據網頁鏈接和網頁內容對網頁進行綜合相關度評價，采用彈性閾值機制，在限制“隧道現象”的基礎上對醫(yī)學領域相關的網頁進行爬取、下載。在抓取該醫(yī)學領域的網頁后，利用網頁解析工具和網頁分塊技術對網頁進行解析，并將解析后的網頁文本內容進行中文分詞，構建倒排索引結構的倒排表。針對信息檢索中網頁的排序問題，本文通過對Lucene搜索結果評分機制的

4、分析與研究，對PageRank算法在權值傳遞過程中的平均分配問題加以優(yōu)化，并添加時間反饋因子，減少舊網頁的天然優(yōu)越性，并將優(yōu)化后的PageRank算法與Lucene中的向量空間模型結合，在抑制“主題漂移”現象的基礎上提高網頁的主題相關性和權威性，最后將經過排序處理后的結果網頁返回給用戶，實現醫(yī)學領域垂直搜索引擎的整個流程。
　　通過對垂直搜索引擎系統(tǒng)的設計與實現，用戶可以以快捷高效的方式獲得較為權威的醫(yī)學領域信息，對個人的健康與衛(wèi)