校園網(wǎng)中課件資源的爬取與檢索.pdf

1、伴隨著人類科技的不斷的進(jìn)步，互聯(lián)網(wǎng)已經(jīng)成為人們獲取信息增強(qiáng)聯(lián)系的一個(gè)極為重要的方面。在信息增長(zhǎng)速度驚人的今天，怎樣從如此巨大的信息量中能夠快速準(zhǔn)確的獲取我們需要的信息，于是互聯(lián)網(wǎng)搜索引擎就作為行之有效的信息檢索工具，切合人們的需要而誕生，而web搜索引擎技術(shù)，也成為計(jì)算機(jī)科學(xué)界和信息產(chǎn)業(yè)界一個(gè)熱點(diǎn)。 在校園網(wǎng)的建設(shè)中，出于教學(xué)的需要，同時(shí)也是校園網(wǎng)特色的體現(xiàn)，對(duì)于網(wǎng)絡(luò)上優(yōu)秀課件的檢索可以更好的為老師和學(xué)生提供教學(xué)和學(xué)習(xí)上的方便。

2、課件是根據(jù)教學(xué)大綱的要求，經(jīng)過教學(xué)目標(biāo)確定，教學(xué)內(nèi)容和任務(wù)分析，教學(xué)活動(dòng)結(jié)構(gòu)及界面設(shè)計(jì)等環(huán)節(jié)，而加以制作的課程軟件。它與課程內(nèi)容有著直接聯(lián)系?，F(xiàn)在應(yīng)用最廣泛的多媒體課件形式是PPT，除此之外還有以DOC，PDF等格式保存在網(wǎng)絡(luò)之中的課件，傳統(tǒng)的搜索在信息獲取的準(zhǔn)確度和內(nèi)容分析等方面存在著較為明顯的缺陷，所以，如何更全面、更準(zhǔn)確地獲取網(wǎng)絡(luò)之中的課件已經(jīng)成為現(xiàn)在搜索領(lǐng)域的一個(gè)新課題新方向，也充滿了挑戰(zhàn)和機(jī)遇。 作為一個(gè)比較新興的方向

3、，同時(shí)也存在著很多的實(shí)際問題，比如在網(wǎng)絡(luò)上課件在保存的形式以及保存格式上的不統(tǒng)一不規(guī)范，分類的不明確等等。本文將實(shí)現(xiàn)一個(gè)在校園網(wǎng)內(nèi)的對(duì)課件進(jìn)行定向爬取，有著良好的結(jié)構(gòu)化索引，并具有較高的檢索準(zhǔn)確率的課件檢索系統(tǒng)，從而滿足校園網(wǎng)搜索引擎的需要。 本文在研究Web搜索引擎的基本原理、核心技術(shù)和處理流程的基礎(chǔ)上，結(jié)合對(duì)校園網(wǎng)課件搜索引擎具體需求的分析，搭建了山東大學(xué)校園網(wǎng)課件搜索引擎系統(tǒng)。 本文詳細(xì)說明了該課件搜索引擎系統(tǒng)的開

4、發(fā)過程和方法，并對(duì)搜索引擎的內(nèi)部軟件組織和數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)存儲(chǔ)方法等內(nèi)容都進(jìn)行研究、分析和設(shè)計(jì)。 本文還介紹了插件機(jī)制，在網(wǎng)絡(luò)爬蟲方面，利用到了定向的頁面爬取，通過對(duì)爬取到課件相關(guān)網(wǎng)頁進(jìn)行信息的抽取建立多field的信息索引，從而用戶可以通過多條件結(jié)構(gòu)化查詢方式來檢索，并通過合適的相關(guān)性算法以及網(wǎng)頁重要度的計(jì)算方法，計(jì)算出網(wǎng)頁重要度，以對(duì)檢索結(jié)果進(jìn)行排序。借助了JAVA的索引軟件包lucene作為底層來實(shí)現(xiàn)，利用eclipse來完