基于Web的事件檢測與評價系統(tǒng)的研究分析.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展社交網(wǎng)絡(luò)的流行，網(wǎng)絡(luò)中存在海量用戶數(shù)據(jù)，但是這些數(shù)據(jù)以半結(jié)構(gòu)化形式呈現(xiàn)，目前新聞網(wǎng)站每天產(chǎn)生大量數(shù)據(jù)。提取出網(wǎng)絡(luò)中有效數(shù)據(jù)并對事件的檢測以及該事件中用戶的態(tài)度分析成為熱門研究問題。
　　本文主要針對中文網(wǎng)站及微博作為研究對象，實現(xiàn)在中文網(wǎng)站中快速獲取有效數(shù)據(jù)并通過事件發(fā)現(xiàn)算法進行新事件檢測，針對微博用戶評論實現(xiàn)當前話題下用戶態(tài)度分析。詳細工作如下：
　　(1)對于海量數(shù)據(jù)下半結(jié)構(gòu)化網(wǎng)頁數(shù)據(jù)快速提取有效文本內(nèi)容

2、，本文提出了基于博弈論的有效文本抽取算法。首先通過標簽分塊后形成博弈策略兩個玩家尋找納什均衡確定潛在文本塊，實驗表明本文提出方法優(yōu)于基于DOM樹分析算法和基于視覺分割算法，尤其在效率上。因此對于屏幕閱讀等及時應用可以使用該方法。
　　(2)本文提出了基于TextRank算法從文本中提取關(guān)鍵詞作為特征向量。首先將文本進行分詞操作，分詞后通過TextRank算法提取出權(quán)值較大的60個特征向量然后進行單遍聚類用以檢測新事件。實驗通過對比