校園網(wǎng)搜索引擎重構.pdf

1、隨著計算機技術和網(wǎng)絡技術的不斷發(fā)展，校園網(wǎng)作為學校內部信息共享、校際間信息交流的平臺也得到了快速發(fā)展。校園網(wǎng)上信息量的增加，以及信息的分布存儲，給用戶檢索信息帶來了困難。導致校園網(wǎng)上大量資源得不到充分利用，造成了信息資源的浪費。校園網(wǎng)搜索引擎是一個對校園網(wǎng)內部信息資源進行搜集整理，然后供用戶查詢的系統(tǒng)。它主要包含四項核心技術，搜索器技術、中文分詞技術、索引技術和檢索技術。 本課題是在已有校園網(wǎng)搜索引擎的基礎上，針對舊版本校園網(wǎng)搜

2、索引擎出現(xiàn)的問題，對其進行的重構。舊版本的主要問題如下：搜索器方面，對網(wǎng)頁的解析不夠完備導致的搜全率過低，校園網(wǎng)中大量存在的異構文本(WORD文檔)未能實現(xiàn)抓取等問題；檢索器方面，檢索結果的網(wǎng)頁只能簡單的輸出而沒有考慮排序等。因此，新版本重新設計了搜索器和檢索器子系統(tǒng)，搜索器能夠較好的完成自動對網(wǎng)頁的抓取和解析，并實現(xiàn)了對異構文本的獲?。粰z索器方面設計了新的相關度算法。算法基于TF/IDF思想，并添加了頁面版式和網(wǎng)頁層次等多種因素。在網(wǎng)