校園網(wǎng)搜索引擎中網(wǎng)頁去重技術(shù)的研究.pdf

1、隨著校園網(wǎng)建設(shè)的迅速發(fā)展，校園網(wǎng)信息資源迅速增加，這使得全校師生迅速定位有價值的信息難度較大，浪費(fèi)時間而且效率低下?；谛@網(wǎng)自身的特點，發(fā)展較成熟的通用搜索引擎不能完全適用于校園網(wǎng)，并且大量轉(zhuǎn)載網(wǎng)頁的存在造成檢索結(jié)果重復(fù)頁過多。通過分析校園網(wǎng)網(wǎng)頁的特點和現(xiàn)有去重技術(shù)，以解決校園網(wǎng)搜索引擎檢索結(jié)果重復(fù)網(wǎng)頁過多問題，針對不同類型的重復(fù)網(wǎng)頁，采用在索引和實時檢索時分別去重的策略，構(gòu)建了校園網(wǎng)搜索引擎，完成了如下幾項工作：
　　第一，對

2、網(wǎng)頁去重的準(zhǔn)備工作進(jìn)行了研究和分析。首先，分析網(wǎng)頁噪音產(chǎn)生的原因、噪音的定義及類型，采用合并內(nèi)容塊技術(shù)對原始網(wǎng)頁集進(jìn)行噪音去除和正文抽取，以獲得網(wǎng)頁的正文內(nèi)容。其次，研究中文分詞技術(shù)，對比現(xiàn)有中文分詞技術(shù)，最終采用庖丁解牛分詞軟件，對Nutch進(jìn)行二次開發(fā)——修改Nutch源碼，實現(xiàn)中文分詞。
　　第二，對索引時網(wǎng)頁去重算法進(jìn)行研究和改進(jìn)。分析現(xiàn)有算法，針對完全重復(fù)或部分重復(fù)的網(wǎng)頁，采用最長段落簽名的網(wǎng)頁去重算法。首先對整篇文檔簽

3、名后去重，其次對去重過濾后的文檔分段，對分好的段落排序，再取前 N個段落對其進(jìn)行指紋簽名，將其作為文檔的特征，當(dāng)這兩個文檔中相同段落數(shù)超過系統(tǒng)給定的一個閾值時，就判定這兩個文檔為相互重復(fù)的文檔。提取前 N段并進(jìn)行指紋排序大大降低了計算的復(fù)雜度。實驗證明，該方法有較高的去重準(zhǔn)確率。
　　第三，針對網(wǎng)頁轉(zhuǎn)載時對原網(wǎng)頁進(jìn)行微小修改而產(chǎn)生的重復(fù)網(wǎng)頁，在實時檢索時采用優(yōu)化傅立葉變換去重算法。該算法把每篇文檔的每個詞映射成一個數(shù)值 Finge

4、rprint，那么每篇文檔就可以表示成一個離散數(shù)值序列。對該數(shù)值序列進(jìn)行傅立葉變換得到傅立葉系數(shù)，比較系數(shù)的前若干項即可大致比較出兩個數(shù)列的相似性。實驗證明，基于優(yōu)化傅立葉變換的去重算法能夠在網(wǎng)頁發(fā)生修改的時候兼顧查全率和去重率。
　　以Nutch作為系統(tǒng)的開發(fā)工具，通過對Nutch源碼進(jìn)行修改實現(xiàn)索引時的去重算法，并采用插件形式實現(xiàn)檢索時的網(wǎng)頁去重算法，在Nutch的基礎(chǔ)上設(shè)計實現(xiàn)校園網(wǎng)搜索引擎，并詳細(xì)說明了校園網(wǎng)搜索引擎系統(tǒng)開