面向財經(jīng)新聞的智能搜索平臺的研究與應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，互聯(lián)網(wǎng)上的信息包括各種各樣的財經(jīng)新聞?wù)员ㄊ降乃俣妊该驮鲩L。毫無疑問，財經(jīng)新聞中蘊含著大量的財富，它對用戶做重要的經(jīng)濟決策、對企業(yè)把握市場的發(fā)展規(guī)律、對國家促進金融市場發(fā)展和經(jīng)濟結(jié)構(gòu)轉(zhuǎn)型，都具有十分重要的作用和戰(zhàn)略意義。但是，深陷在信息的海洋漩渦之中，人們不得不面臨著嚴峻的信息過載問題。因此，如何快速有效地幫助用戶獲取有價值的財經(jīng)新聞成為了一個至關(guān)重要的問題。為了緩解信息過載的壓力，搜索引擎和門戶網(wǎng)站得到了快

2、速的發(fā)展和應(yīng)用。傳統(tǒng)的基于核心詞的搜索引擎如百度谷歌等，簡單易用，用戶只需要輸入目標核心詞，搜索引擎就會自動返回相關(guān)的結(jié)果。但是搜索引擎往往動輒返回數(shù)以萬計的結(jié)果，因此準確率通常比較低。另外，有些用戶只關(guān)心某些特定領(lǐng)域的新聞如房地產(chǎn)相關(guān)的新聞，雖然門戶網(wǎng)站的出現(xiàn)彌補了這一問題，但是門戶網(wǎng)站往往冗余龐大、而且只是簡單的羅列新聞，無法發(fā)現(xiàn)隱藏在新聞內(nèi)部的關(guān)系。例如，房價的新聞往往和房價調(diào)控政策以及建筑建材業(yè)的新聞有深入的關(guān)系。
　　本

3、研究主要內(nèi)容包括：⑴結(jié)合傳統(tǒng)搜索引擎和門戶網(wǎng)站的優(yōu)點，利用數(shù)據(jù)挖掘和自然語言處理領(lǐng)域的相關(guān)知識，提出了一種新的智能搜索平臺框架。平臺一共包含了六大模塊，它不僅可以提供基于核心詞的便捷搜索服務(wù)，而且還可以給用戶提供分門別類的財經(jīng)資訊。同時，為了給用戶提供第一手的實時熱點，平臺集成了基于TDT的熱點新聞發(fā)現(xiàn)算法。此外，為了發(fā)現(xiàn)隱藏在新聞內(nèi)部的關(guān)系，基于新聞的設(shè)計并構(gòu)建了動態(tài)知識網(wǎng)絡(luò)，用于快速引導(dǎo)用戶找到更加多樣和有用的信息。⑵在智能搜平臺的

4、基礎(chǔ)上，針對基于SVM的自動分類算法和基于TDT技術(shù)的熱點新聞發(fā)現(xiàn)算法做了改進。在文本表示階段，重點考慮主題在財經(jīng)新聞中的重要性，改進了特征詞的權(quán)重公式。更進一步，考慮到時間對于熱點事件至關(guān)重要。因此，通過融入時間因素改進了文檔與主題的相似度公式。⑶在真實的新聞數(shù)據(jù)集上的實驗結(jié)果表明，通過引入主題因素，在合適的權(quán)重系數(shù)情況下，可以提高分類算法的正確率。同時，通過融入時間因素，熱點新聞自動發(fā)現(xiàn)算法相比于傳統(tǒng)的方法，可以更好的區(qū)分內(nèi)容相似但