基于Web信息獲取的新聞數(shù)據(jù)分析研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，針對于日益膨脹的Web信息，搜索引擎成為人們應用Web的一個信息導航工具。其中，有著行業(yè)色彩并且兼有“專、精、深”特點的垂直搜索引擎越來越受到用戶的青睞。現(xiàn)在，垂直搜索引擎已經(jīng)覆蓋了很多行業(yè)：房產(chǎn)、求職、商務、醫(yī)療健康和公交出行等。但是經(jīng)調查研究發(fā)現(xiàn)，關于外匯新聞的垂直搜索技術還沒有一個成熟的平臺，但是市場的需求是存在的?，F(xiàn)在關注外匯市場交易的人越來越多，基于這樣的需求，本文即結合垂直搜索引擎技術設計了以外匯新聞為

2、主題的新聞分析引擎系統(tǒng)，用以幫助匯市的用戶更加方便的掌握外匯市場方面的訊息。
　　 本文應用開源軟件Heritrix作為爬蟲工具，對國內外著名外匯新聞網(wǎng)站進行信息的抓取，通過對Heritrix的一些組件進行定制，得以對抓取的新聞信息進行搜集和初步過濾。然后對網(wǎng)頁內容進行分析，去除文本格式，通過過濾算法，轉換為文本文字。進而將這些信息進行進一步的分詞，過濾高頻詞匯和虛詞，得到適合于索引的語素單元組合。利用Lucene工具并且結合倒