風(fēng)險主題搜索引擎相關(guān)技術(shù)的研究與應(yīng)用.pdf

1、主題搜索引擎是針對某一個行業(yè)的專業(yè)搜索引擎，是搜索引擎的細(xì)分和延伸，是對網(wǎng)頁庫中的某類專門的信息進行一次整合。其中的關(guān)鍵技術(shù)包括中文分詞、主題爬蟲、索引、分布式存儲等，本文重點研究網(wǎng)絡(luò)資源的爬蟲和索引的主題搜索技術(shù)，具有重要的應(yīng)用價值。主要工作包括： 1.提出了一種基于內(nèi)容和鏈接分析相結(jié)合計算主題相關(guān)度的搜索策略?；赪eb超鏈接評價算法考慮了鏈接結(jié)構(gòu)和頁面之間的引用關(guān)系，但忽略了頁面與主題的相關(guān)性?；趦?nèi)容評價的算法只注重文本

2、在主題搜索中的重要性，而忽略了Web結(jié)構(gòu)的作用。綜合的搜索策略利用基于內(nèi)容的評價來提高搜索內(nèi)容與主題的相關(guān)度，同時利用基于鏈接結(jié)構(gòu)的評價來提高主題資源搜索的覆蓋率。 2.改進了Shark-search算法。從隊列維護和檢索時間的角度出發(fā)進行算法的改進，提高了Shark-search算法的時空效率，在主題相似度計算方法上應(yīng)用了向量空間模型；與主題的相關(guān)性判定中，綜合運用了網(wǎng)頁文本內(nèi)容和Web結(jié)構(gòu)圖的啟發(fā)策略，從待訪問網(wǎng)站的時間性能

3、因素出發(fā)，改進了PageRank算法。 3.給出了基于改進倒排表的索引器設(shè)計方案，從索引文件本身的結(jié)構(gòu)出發(fā)進行改進，采用分級的倒排表索引組織結(jié)構(gòu)，提高了索引創(chuàng)建的效率。在索引更新部分設(shè)計了索引器的批量索引方法與增量索引方法，實現(xiàn)了索引文檔的動態(tài)更新。將改進后的算法與基于Nutch的索引技術(shù)相結(jié)合，在此基礎(chǔ)上實現(xiàn)了一個風(fēng)險主題搜索引擎索引的建立與維護。 4.基于開源項目Nutch，設(shè)計并實現(xiàn)了一個風(fēng)險主題搜索引擎，把自己建