智能垂直搜索引擎的研究與設(shè)計.pdf

1、隨著Internet的快速發(fā)展，Web上的信息與資源日益膨脹。面對海量的信息資源，如何更快更好的獲取需要的資源成為人們?nèi)找骊P(guān)注的問題。通用搜索引擎返回的結(jié)果頁面中含有大量的“噪聲”頁面，需要人為的去挑選自己所關(guān)注的主題。垂直搜索引擎的出現(xiàn)，為人們提供了更快，更專業(yè)，更精準(zhǔn)的網(wǎng)絡(luò)資源的檢索服務(wù)。
　　 垂直搜索引擎是以構(gòu)筑某一專題領(lǐng)域或?qū)W科領(lǐng)域的因特網(wǎng)信息資源庫為目標(biāo)，智能地在互聯(lián)網(wǎng)上搜集符合設(shè)定專題或滿足學(xué)科需要的信息資源，它只

2、針對某一特定主題，能夠提供更集中、更專業(yè)的搜索服務(wù)。在對垂直搜索引擎的關(guān)鍵技術(shù)進行研究的基礎(chǔ)上，本文研究并設(shè)計了垂直搜索引擎的主題爬行模塊、索引模塊和檢索模塊，并最終實現(xiàn)了一個垂直搜索引擎原型系統(tǒng)。主要工作如下：
　　 ①針對當(dāng)前垂直搜索引擎面臨的一個亟需解決的“主題漂移”問題，本文提出了一種改進型的主題爬行模型。主要包括基于反饋的主題知識庫、主題判定模型和鏈接分析模型。通過不斷提煉和反饋主題網(wǎng)頁數(shù)據(jù)庫中的主題關(guān)鍵詞，豐富和完善

3、主題知識庫，使主題知識庫具有一定的學(xué)習(xí)和自適應(yīng)能力；考慮HTML不同標(biāo)簽的權(quán)值，采用改進的向量空間模型算法判定網(wǎng)頁的主題相似度，提高主題判定的有效性和準(zhǔn)確性；基于Shark算法思想，通過將HTML文檔解析為DOM樹形結(jié)構(gòu)，同時設(shè)置鏈接上下文閾值，提出一種基于鏈接上下文的鏈接主題相似度DOM判定模型，從而更好的來判斷URL的主題相似度，指導(dǎo)主題爬行的方向。
　　 ②在研究全文檢索基本原理和倒排索引組織結(jié)構(gòu)的基礎(chǔ)上，綜合字索引、詞索

4、引和主題網(wǎng)頁的特征，提出了一種基于主題知識庫的混合索引模型，提高了索引建立的效率和準(zhǔn)確性；設(shè)計了基于混合索引的檢索器的工作流程，并結(jié)合向量空間模型，對檢索結(jié)果排序進行了分析和探討。
　　 ③最后采用Nutch框架，實現(xiàn)了一個面向“五金”的垂直搜索引擎原型系統(tǒng)。通過對該原型系統(tǒng)進行實驗測試，實驗結(jié)果表明該垂直搜索引擎系統(tǒng)具有較好的查準(zhǔn)率，并且具有自適應(yīng)性，體現(xiàn)了一定的智能，在一定程度上解決了“主題漂移”問題，基本達到了本文的研究目