垂直搜索引擎若干關(guān)鍵技術(shù)的研究.pdf

1、隨著Internet的飛速發(fā)展，Web的信息量越來越大，通用搜索引擎將面臨信息采集、存儲等方面更大的挑戰(zhàn)。此外，由于通用搜索引擎面向所有的用戶，力爭在返回結(jié)果上做到面面俱到，包羅萬象的結(jié)果顯然不能滿足用戶精確搜索的需求。因此，面向?qū)I(yè)領(lǐng)域的搜索引擎即垂直搜索引擎應(yīng)運(yùn)而生。 與通用搜索引擎不同，垂直搜索引擎的網(wǎng)絡(luò)蜘蛛只采集Web中的部分信息。通過對網(wǎng)頁的主題相關(guān)度進(jìn)行預(yù)測和判斷，專業(yè)網(wǎng)絡(luò)蜘蛛在爬行(Crawling)時(shí)避開了大量主

2、題無關(guān)的區(qū)域。由于只采集主題相關(guān)的網(wǎng)頁，垂直搜索引擎在查詢的準(zhǔn)確率和效率上都有顯著的提高。目前，垂直搜索引擎的中文分詞和主題預(yù)測有待進(jìn)一步提高精度，網(wǎng)絡(luò)蜘蛛的搜索策略也有待進(jìn)一步改進(jìn)以提高搜索引擎的覆蓋率和效率。 本文提出了基于主題的自適應(yīng)的分詞技術(shù)，使用候選詞典和專業(yè)詞庫來指導(dǎo)分詞和歧義消除，能有效地提高專業(yè)領(lǐng)域中分詞的查全率和查準(zhǔn)率。 本文還提出了基于父網(wǎng)頁的主題相關(guān)度預(yù)測算法(CPAP)、基于鏈入網(wǎng)頁的主題相關(guān)度預(yù)

3、測算法(CPAH)和17PR主題預(yù)測算法。CPAP利用了錨文本和父網(wǎng)頁的主題相關(guān)度等信息進(jìn)行預(yù)測；CPAH在預(yù)測主題相關(guān)度時(shí)綜合考慮了鏈接的數(shù)量和質(zhì)量；TPR算法則將網(wǎng)頁的主題相關(guān)性和權(quán)威性相結(jié)合，從而有效地防止了“主題漂流”現(xiàn)象。 為了解決普通隧道技術(shù)隨著探索半徑的增大，主題無關(guān)網(wǎng)頁呈指數(shù)級增加的問題，本文提出了稀疏隧道技術(shù)，稀疏隧道技術(shù)使專業(yè)網(wǎng)絡(luò)蜘蛛在整個(gè) Web中拉網(wǎng)式地探索未知網(wǎng)頁，從而實(shí)現(xiàn)“疏而不漏”地挖掘新的Web