面向校園網(wǎng)的搜索引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、目前，在國(guó)家大力發(fā)展職業(yè)教育的形式下，高等職業(yè)教育發(fā)展迅猛，辦學(xué)規(guī)模不斷擴(kuò)大。隨著各高等職業(yè)院校管理制度的健全和改革力度的深化，在考慮不斷提高教學(xué)管理水平、質(zhì)量和效率的同時(shí)，依靠數(shù)字化校園建設(shè)的重要性和必要性顯得尤為重要，它是高等職業(yè)教育信息化管理發(fā)展的必由之路。因此各高校加快了信息化建設(shè)的步伐，校園網(wǎng)內(nèi)容在不斷充實(shí)和豐富的同時(shí)，也在很大程度上提高了學(xué)校的工作效率和辦學(xué)質(zhì)量。但是，伴隨校園網(wǎng)軟硬件設(shè)備的投入和建設(shè)，以共享學(xué)校信息資源為目

2、的的校園網(wǎng)呈現(xiàn)出爆炸性的增長(zhǎng)態(tài)勢(shì)，而每個(gè)用戶真正感興趣的信息非常有限，僅僅是其中的滄海一粟。無(wú)論是校園網(wǎng)內(nèi)或是網(wǎng)外的用戶在浩瀚的校園網(wǎng)網(wǎng)海中找尋到有價(jià)值的信息顯得越發(fā)困難。為此，面向校園網(wǎng)的搜索引擎系統(tǒng)應(yīng)運(yùn)而生。
　　 在校園網(wǎng)信息高速膨脹的今天，搜索引擎已經(jīng)成為了非常重要的校園網(wǎng)導(dǎo)航工具?？紤]到校園網(wǎng)中所有網(wǎng)頁(yè)都是基于學(xué)校域名下鏈接地址的擴(kuò)展地址，搜索引擎在通過(guò)網(wǎng)絡(luò)爬蟲來(lái)完成校園網(wǎng)中信息資源的搜集工作時(shí)，正是利用校園網(wǎng)中信息資

3、源鏈接地址所具備的這一特有特征，完成對(duì)網(wǎng)絡(luò)爬蟲運(yùn)行環(huán)境的調(diào)試、爬行種子的定義和類型的配置。針對(duì)校園網(wǎng)資源的更新速度制定出網(wǎng)絡(luò)爬蟲合理的爬取周期，不斷發(fā)現(xiàn)和搜集校園網(wǎng)內(nèi)新的網(wǎng)站和網(wǎng)頁(yè)，利用開源Java庫(kù)HTMLParser所提供的API完成對(duì)網(wǎng)絡(luò)爬蟲搜集的校園網(wǎng)網(wǎng)頁(yè)特定文本信息的提取工作。在此基礎(chǔ)上，使用開源的Lucene引擎架構(gòu)和中文分詞組件JE—analysis對(duì)此文本信息做進(jìn)一步的理解、提取、組織和處理，形成索引文件最終為用戶提供檢

4、索服務(wù)以達(dá)到信息導(dǎo)航的目的。由于該搜索引擎系統(tǒng)是針對(duì)學(xué)校校園網(wǎng)具體需求而開發(fā)的，因此能更好的滿足用戶面向校園網(wǎng)信息搜索的需要。
　　 面向校園網(wǎng)搜索引擎的出現(xiàn)，彌補(bǔ)了用戶在使用通用搜索引擎檢索過(guò)程中，所得結(jié)果覆蓋面廣，存在著重復(fù)以及垃圾信息的特點(diǎn)，為用戶提供了更為精準(zhǔn)的個(gè)性化服務(wù)。
　　 結(jié)合當(dāng)前對(duì)校園網(wǎng)情況的分析，本文主要完成了如下工作：
　　 （1）在深入了解搜索引擎運(yùn)行原理的基礎(chǔ)上，確定了本系統(tǒng)具體實(shí)現(xiàn)需要

5、用到的各個(gè)開源組件及其相關(guān)技術(shù)。
　　 （2）以廣東某高校校園網(wǎng)的實(shí)際需求為出發(fā)點(diǎn)，完成了需求分析說(shuō)明文檔。
　　 （3）依據(jù)設(shè)計(jì)的目標(biāo)和原則設(shè)計(jì)出系統(tǒng)的總體結(jié)構(gòu)，明確了系統(tǒng)的業(yè)務(wù)流程。
　　 （4）通過(guò)定制和擴(kuò)展Heritrix網(wǎng)絡(luò)爬蟲實(shí)現(xiàn)在校園網(wǎng)內(nèi)的資源爬取工作。
　　 （5）設(shè)計(jì)并使用各種API工具對(duì)網(wǎng)絡(luò)爬蟲收集回來(lái)的信息進(jìn)行抽取和處理。
　　 （6）在深入研究Lucene及其相關(guān)技術(shù)的基礎(chǔ)