金融領(lǐng)域論壇搜索及觀點(diǎn)判別.pdf

1、近年來,隨著web2.0的迅猛發(fā)展,互聯(lián)網(wǎng)不斷擴(kuò)展成一個(gè)擁有海量數(shù)據(jù)并且內(nèi)容豐富的信息載體。并且涌現(xiàn)出一些新型的,與用戶交互性強(qiáng)的知識(shí)服務(wù)形式,其中典型的服務(wù)包括百科知識(shí)、個(gè)人博客、論壇等等。其中,論壇在網(wǎng)絡(luò)上營(yíng)造了一個(gè)虛擬空間,用戶可以在這里提出并討論問題,共享信息。由于其發(fā)表帖子隨意形式簡(jiǎn)單,有很高的時(shí)效性,深受廣大用戶的喜愛。如何能充分利用金融領(lǐng)域論壇中的數(shù)據(jù),整理并挖掘海量論壇數(shù)據(jù)中有用的信息,提供給用戶查詢?cè)L問是本課題的主要內(nèi)

2、容。
　　本文主要構(gòu)建了面向金融領(lǐng)域論壇搜索以及觀點(diǎn)判別系統(tǒng),主要包括以下兩個(gè)部分:
　　首先搭建一個(gè)面向金融領(lǐng)域論壇的垂直搜索引擎,按照搜索引擎的流程,依次實(shí)現(xiàn)了爬蟲模塊,網(wǎng)頁(yè)數(shù)據(jù)提取并索引模塊,查詢排序模塊。針對(duì)金融領(lǐng)域論壇垂直搜索,每一部分的實(shí)現(xiàn)都有其自身的特點(diǎn)。在爬蟲模塊的設(shè)計(jì)中,抓取策略是對(duì)于每天的熱點(diǎn)股票給與更高的抓取頻率,以提高系統(tǒng)整體數(shù)據(jù)的時(shí)新性。在查詢排序模塊中,不僅提供了通用搜索中的相關(guān)性排序,針對(duì)論壇這

3、一結(jié)構(gòu),用戶還可以選擇根據(jù)點(diǎn)擊量,回復(fù)數(shù),發(fā)表時(shí)間等排序結(jié)果。
　　接下來,又對(duì)論壇中的帖子數(shù)據(jù)做了進(jìn)一步的挖掘,為用戶提供更加人性化,智能化的服務(wù),主要工作就是通過文本分類判別論壇帖子的觀點(diǎn)。在將文本數(shù)據(jù)分詞,文本特征提取之后,使用樸素貝葉斯算法完成分類的工作。并改進(jìn)了貝葉斯算法,提出了基于知網(wǎng)HowNet詞語(yǔ)相似性的樸素貝葉斯算法,有效提高了文本分類的性能和準(zhǔn)確性。
　　本課題金融領(lǐng)域論壇搜索及觀點(diǎn)判別中的所有模塊都已經(jīng)