垂直搜索引擎技術(shù)在網(wǎng)絡(luò)輿情巡控中的研究與應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的普及和發(fā)展,網(wǎng)上信息量爆炸式增長。截至2009年底,中國互聯(lián)網(wǎng)網(wǎng)民規(guī)模達到3.84億人,普及率達到28.9％,全球網(wǎng)站數(shù)量已經(jīng)突破2億,網(wǎng)頁數(shù)量達數(shù)百億。互聯(lián)網(wǎng)對人們工作、生活的影響進一步加大。網(wǎng)友言論活躍達到前所未有的程度,不論是國內(nèi)還是國際重大事件,都能迅速形成網(wǎng)上輿論,通過網(wǎng)絡(luò)來表達觀點、傳播思想。如何正確把握網(wǎng)絡(luò)輿論動態(tài),為科學(xué)決策提供準(zhǔn)確的依據(jù),是互聯(lián)網(wǎng)輿情工作的核心任務(wù)。在如此豐富的web資源中,如何有效的搜索輿

2、情信息是一件困難的事情。專業(yè)化的搜索引擎的開發(fā)就是解決這個問題的最好辦法。
　　 垂直搜索引擎?zhèn)仁轻槍δ骋惶囟I(lǐng)域、某一特定人群或某一特定需求提供的有一定價值的信息和相關(guān)服務(wù),搜索的特點是專、精、深,搜索結(jié)果不會帶有閑雜信息。普通的網(wǎng)頁搜索以綜合搜索、橫向搜索為主要特點,在滿足搜索信息量大的同時卻難以兼顧搜索的準(zhǔn)確度與相關(guān)度的質(zhì)量,很難滿足追求精準(zhǔn)的個性化、專業(yè)化搜索需求?？偟膩碚f,垂直搜索引擎是針對某一個行業(yè)的專業(yè)搜索引擎,是

3、搜索引擎的細分和延伸。
　　 本文詳細介紹了垂直搜索引擎的系統(tǒng)結(jié)構(gòu)和功能特點,對垂直搜索引擎技術(shù)用于輿情巡控系統(tǒng)建設(shè)進行了論證和改進,設(shè)計了適合垂直搜索引擎的網(wǎng)絡(luò)爬蟲,在對Heritrix和Lucene進行深入分析的基礎(chǔ)上,實現(xiàn)了一個高性能,高負荷,合理、有效,規(guī)范和實用的具有較好實用性的網(wǎng)絡(luò)輿情系統(tǒng),實現(xiàn)對網(wǎng)絡(luò)輿情的快速監(jiān)控。該系統(tǒng)能夠快速監(jiān)控網(wǎng)絡(luò)輿情信息,對網(wǎng)絡(luò)輿情數(shù)據(jù)和信息進行組織整理,存儲,加工,索引,方便輿情管理人員完