風(fēng)險(xiǎn)主題搜索引擎相關(guān)技術(shù)的研究與應(yīng)用.pdf

1、主題搜索引擎是針對(duì)某一個(gè)行業(yè)的專業(yè)搜索引擎，是搜索引擎的細(xì)分和延伸，是對(duì)網(wǎng)頁庫中的某類專門的信息進(jìn)行一次整合。其中的關(guān)鍵技術(shù)包括中文分詞、主題爬蟲、索引、分布式存儲(chǔ)等，本文重點(diǎn)研究網(wǎng)絡(luò)資源的爬蟲和索引的主題搜索技術(shù)，具有重要的應(yīng)用價(jià)值。主要工作包括： 1.提出了一種基于內(nèi)容和鏈接分析相結(jié)合計(jì)算主題相關(guān)度的搜索策略?；赪eb超鏈接評(píng)價(jià)算法考慮了鏈接結(jié)構(gòu)和頁面之間的引用關(guān)系，但忽略了頁面與主題的相關(guān)性?；趦?nèi)容評(píng)價(jià)的算法只注重文本

2、在主題搜索中的重要性，而忽略了Web結(jié)構(gòu)的作用。綜合的搜索策略利用基于內(nèi)容的評(píng)價(jià)來提高搜索內(nèi)容與主題的相關(guān)度，同時(shí)利用基于鏈接結(jié)構(gòu)的評(píng)價(jià)來提高主題資源搜索的覆蓋率。 2.改進(jìn)了Shark-search算法。從隊(duì)列維護(hù)和檢索時(shí)間的角度出發(fā)進(jìn)行算法的改進(jìn)，提高了Shark-search算法的時(shí)空效率，在主題相似度計(jì)算方法上應(yīng)用了向量空間模型；與主題的相關(guān)性判定中，綜合運(yùn)用了網(wǎng)頁文本內(nèi)容和Web結(jié)構(gòu)圖的啟發(fā)策略，從待訪問網(wǎng)站的時(shí)間性能

3、因素出發(fā)，改進(jìn)了PageRank算法。 3.給出了基于改進(jìn)倒排表的索引器設(shè)計(jì)方案，從索引文件本身的結(jié)構(gòu)出發(fā)進(jìn)行改進(jìn)，采用分級(jí)的倒排表索引組織結(jié)構(gòu)，提高了索引創(chuàng)建的效率。在索引更新部分設(shè)計(jì)了索引器的批量索引方法與增量索引方法，實(shí)現(xiàn)了索引文檔的動(dòng)態(tài)更新。將改進(jìn)后的算法與基于Nutch的索引技術(shù)相結(jié)合，在此基礎(chǔ)上實(shí)現(xiàn)了一個(gè)風(fēng)險(xiǎn)主題搜索引擎索引的建立與維護(hù)。 4.基于開源項(xiàng)目Nutch，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)風(fēng)險(xiǎn)主題搜索引擎，把自己建