基于教育領(lǐng)域的垂直搜索引擎的研究與設(shè)計.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的急速發(fā)展,網(wǎng)上的信息資源也呈現(xiàn)出爆炸式增長,這種信息的增長體現(xiàn)在互聯(lián)網(wǎng)的各個領(lǐng)域,尤其是在教育領(lǐng)域。互聯(lián)網(wǎng)為廣大網(wǎng)民提供了豐富的網(wǎng)上學(xué)習(xí)資源以及教學(xué)資源。我們可以很方便的對這些資源進行訪問和下載,但是,如何準(zhǔn)確即時的找到自己所需要的教育資源也成為當(dāng)今社會所面臨的一個重要問題。
　　傳統(tǒng)的搜索引擎查詢結(jié)果數(shù)量巨大,用戶很難在其中找到自己所需要的專業(yè)性很強的資源。隨著垂直搜索引擎的出現(xiàn),這種情況得到了較大的改善。垂直搜

2、索引擎是相對通用搜索引擎的查詢不準(zhǔn)確、深度不夠等局限性提出來的新的搜索引擎服務(wù)模式,通過針對某一特定領(lǐng)域、某一特定人群或某一特定需求提供的有一定價值的信息和相關(guān)服務(wù)。
　　本文在研究了大量的搜索引擎技術(shù)的情況下,采用Lucene作為底層包,開發(fā)出了一個基于教育領(lǐng)域的垂直搜索引擎。
　　論文首先對垂直搜索引擎的產(chǎn)生背景及國內(nèi)外的發(fā)展?fàn)顩r作了簡單的介紹,詳細(xì)闡述了垂直搜索引擎的主要組成部分,包括主題爬蟲、網(wǎng)頁資源預(yù)處理、中文分詞

3、等。并且對Lucene核心模塊進行了介紹,包括索引模塊和檢索模塊。
　　然后,通過對搜索引擎關(guān)鍵技術(shù)的研究,分析并設(shè)計了垂直搜索引擎的系統(tǒng)結(jié)構(gòu)及實現(xiàn)框圖。
　　論文的核心內(nèi)容主要是對主題爬蟲進行了研究,現(xiàn)有的主題爬蟲算法較著名的是Fish-search和Shark-search算法。通過對其優(yōu)缺點的分析研究,改進了爬蟲算法。并實現(xiàn)了基于Fish-search算法改進的爬蟲算法,和基于VSM主題匹配的算法,提高了爬取的效率同時