校園網(wǎng)搜索引擎重構(gòu).pdf

1、隨著計算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，校園網(wǎng)作為學(xué)校內(nèi)部信息共享、校際間信息交流的平臺也得到了快速發(fā)展。校園網(wǎng)上信息量的增加，以及信息的分布存儲，給用戶檢索信息帶來了困難。導(dǎo)致校園網(wǎng)上大量資源得不到充分利用，造成了信息資源的浪費。校園網(wǎng)搜索引擎是一個對校園網(wǎng)內(nèi)部信息資源進(jìn)行搜集整理，然后供用戶查詢的系統(tǒng)。它主要包含四項核心技術(shù)，搜索器技術(shù)、中文分詞技術(shù)、索引技術(shù)和檢索技術(shù)。 本課題是在已有校園網(wǎng)搜索引擎的基礎(chǔ)上，針對舊版本校園網(wǎng)搜

2、索引擎出現(xiàn)的問題，對其進(jìn)行的重構(gòu)。舊版本的主要問題如下：搜索器方面，對網(wǎng)頁的解析不夠完備導(dǎo)致的搜全率過低，校園網(wǎng)中大量存在的異構(gòu)文本(WORD文檔)未能實現(xiàn)抓取等問題；檢索器方面，檢索結(jié)果的網(wǎng)頁只能簡單的輸出而沒有考慮排序等。因此，新版本重新設(shè)計了搜索器和檢索器子系統(tǒng)，搜索器能夠較好的完成自動對網(wǎng)頁的抓取和解析，并實現(xiàn)了對異構(gòu)文本的獲??；檢索器方面設(shè)計了新的相關(guān)度算法。算法基于TF/IDF思想，并添加了頁面版式和網(wǎng)頁層次等多種因素。在網(wǎng)