基于元搜索的輿情信息采集系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著信息技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)越來越成為人們獲取信息資源、表達(dá)思想看法的重要途徑，民眾針對熱門人物或事件所持有的態(tài)度、信念和價值觀的表達(dá)，在互聯(lián)網(wǎng)上匯聚成不可忽視的輿論力量，網(wǎng)絡(luò)輿情監(jiān)測系統(tǒng)應(yīng)運而生。
　　社會事件的關(guān)鍵是人，通過人物抓取相關(guān)社會事件和輿論資源，以提供給相關(guān)部門作為決策依據(jù)，是輿情監(jiān)控系統(tǒng)發(fā)展的一個重要方向。本人在北京市微普科創(chuàng)科技有限公司實習(xí)之際，參與了公司面向知名人士的輿情監(jiān)控系統(tǒng)《校友大數(shù)據(jù)》的設(shè)計開發(fā)工作。在

2、項目中，本人主要負(fù)責(zé)輿情信息采集子系統(tǒng)的設(shè)計實現(xiàn)工作。
　　輿情信息采集技術(shù)的基礎(chǔ)是互聯(lián)網(wǎng)搜索技術(shù)，這就使得它和搜索引擎在設(shè)計思路、技術(shù)實現(xiàn)上，有著許多相同之處，通過研究搜索引擎技術(shù)，可以為輿情信息采集提供寶貴經(jīng)驗。本人在項目之初，為獲得較好的采集廣度和準(zhǔn)確性，研究了搜索引擎基本原理，對比了現(xiàn)有搜索引擎技術(shù)，特別研究了元搜索引擎關(guān)鍵技術(shù)，最終確定項目的技術(shù)架構(gòu)，并吸收全文搜索引擎索引的優(yōu)點來實現(xiàn)輿情信息采集系統(tǒng)。具體改進(jìn)包括:

3、r>　　(1)在查詢轉(zhuǎn)換上，分析了非定向采集和定向采集站點的查詢規(guī)則和頁面結(jié)構(gòu)，實現(xiàn)了精準(zhǔn)采集;
　　(2)基于對輿情信息系統(tǒng)存儲特殊性的考量，在對元搜索引擎改進(jìn)方面，建立了元搜索引擎的網(wǎng)頁數(shù)據(jù)庫;通過實驗對比Lucene內(nèi)存倒排索引來進(jìn)行方案優(yōu)選，建立了MySQL倒排索引數(shù)據(jù)庫，更好地實現(xiàn)了站內(nèi)全文搜索功能;
　　(3)在元搜索消重策略選擇上，通過對現(xiàn)有方案的對比分析，優(yōu)選出適合本系統(tǒng)的標(biāo)題和正文關(guān)鍵詞結(jié)合的向量空間算法，

4、得到最佳消重策略;
　　(4)在輿情信息結(jié)果排序方面，基于對輿情監(jiān)控系統(tǒng)展現(xiàn)層興趣排序的需求，從元搜索引擎排序技術(shù)中得到啟發(fā)，借用并改進(jìn)了HITS算法，使得排序結(jié)果更大程度上滿足用戶需求，并通過實驗驗證了設(shè)計的合理性。在實現(xiàn)興趣排序的同時，通過結(jié)合垂直搜索思想解決了HITS算法存在的主題漂移問題，最終通過系統(tǒng)測試來證明了改進(jìn)排序算法的優(yōu)越性;
　　(5)在定向采集上，本人通過對貼吧結(jié)構(gòu)的分析，建立了貼吧概念模型，結(jié)合輿情采集

5、需求，建立出概念模型，最終確定系統(tǒng)物理模型。
　　最終通過項目開發(fā)實現(xiàn)了本系統(tǒng)，并在系統(tǒng)運行數(shù)據(jù)的基礎(chǔ)上設(shè)計測試并進(jìn)行統(tǒng)計分析，最終驗證了設(shè)計的合理性，具體包括:
　　(1)系統(tǒng)采集新聞信息覆蓋超出傳統(tǒng)搜索引擎的17％，證明了采集系統(tǒng)使用元搜索引擎的優(yōu)越性;
　　(2)在HITS算法改進(jìn)之后，頁面排序中的首頁點擊率提高13％，前三頁總點擊率從67％上升到了83％，說明通過結(jié)合用戶興趣能夠提供給用戶更好的搜索結(jié)果，減少了