基于Web Community識別的專業(yè)搜索引擎研究.pdf

1、文章主要討論分析一個專業(yè)WebCommunity識別系統(tǒng)的設(shè)計和實現(xiàn)過程，通過專業(yè)網(wǎng)絡(luò)蜘蛛從互聯(lián)網(wǎng)有選擇地抓取網(wǎng)頁，并對抓取的網(wǎng)頁內(nèi)容進(jìn)行專業(yè)相關(guān)性分析，不斷將滿足條件的網(wǎng)頁加入到WebCommunity中，最終構(gòu)建一個相對完整的專業(yè)WebCommunity。文章以對搜索引擎的背景和WebCommunity識別的相關(guān)技術(shù)介紹開始，分析了現(xiàn)有技術(shù)的不足之處，接著對系統(tǒng)實現(xiàn)的關(guān)鍵技術(shù)進(jìn)行了詳細(xì)地討論與分析。 對系統(tǒng)設(shè)計與實現(xiàn)的討論主

2、要集中在以下兩個章節(jié)：專業(yè)網(wǎng)絡(luò)蜘蛛的設(shè)計與實現(xiàn)和WebCommunity識別關(guān)鍵算法研究。第三章描述了專業(yè)網(wǎng)絡(luò)蜘蛛模塊的設(shè)計實現(xiàn)以及性能優(yōu)化等問題，討論分析了其搜索策略的制定。第四章在目前較成熟的WebCommunity識別技術(shù)的基礎(chǔ)上，提出了一種網(wǎng)頁主題識別算法-WKHR算法(WeightedKeywordHierarchicalRecognition)，該算法可以有效提高頁面主題判斷的準(zhǔn)確性，在實際測試中取得了良好的效果。