網(wǎng)絡信息流中熱門訪問主題挖掘技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡輿情的重要性逐漸得以體現(xiàn)。社會上發(fā)生的熱點事件幾乎都能在互聯(lián)網(wǎng)上有所反映。因此，研究網(wǎng)絡輿情對于提高人民的生活水平，構(gòu)建和諧社會具有重要意義。
　　本文通過對網(wǎng)絡輿情的定義、特點、來源和傳播途徑的研究，設計了網(wǎng)絡輿情系統(tǒng)的原型。網(wǎng)絡輿情系統(tǒng)運用了計算機網(wǎng)絡、數(shù)據(jù)挖掘、自然語言處理等多領域?qū)W科知識，對網(wǎng)絡數(shù)據(jù)流進行實時監(jiān)測，收集網(wǎng)頁，通過對主題的檢測和追蹤、突發(fā)事件分析、新聞趨勢分析，最后生成統(tǒng)計報表和輿情信息

2、預警。
　　實現(xiàn)熱門訪問主題挖掘系統(tǒng)，需要結(jié)合自然語言處理的相關(guān)技術(shù)。本文根據(jù)網(wǎng)絡信息流的特點，選擇了合適的分詞算法和句子相似度計算方法，并為算法進行了優(yōu)化。
　　數(shù)據(jù)流的特點是連續(xù)的、無限的、快速的和時變的。數(shù)據(jù)流頻繁項挖掘算法需要利用有限的內(nèi)存，以盡量少的次數(shù)掃描數(shù)據(jù)流就能得到頻繁項。LossyCounting算法是經(jīng)典的數(shù)據(jù)流頻繁項挖掘算法。本文使用了自然語言處理的相關(guān)方法對網(wǎng)頁主題進行了預處理，使得LossyCoun

3、ting算法可以挖掘文本類型的數(shù)據(jù)流，并利用了LossyCouning算法的摘要，實現(xiàn)了對一段時期熱門訪問主題的挖掘。
　　本文根據(jù)以上理論，設計了網(wǎng)絡信息流中熱門訪問主題挖掘系統(tǒng)，包括輿情信息采集模塊、網(wǎng)頁特征提取模塊、分詞模塊、相似度計算模塊和頻繁項挖掘模塊等。通過測試系統(tǒng)參數(shù)對系統(tǒng)功能和性能的影響，為系統(tǒng)參數(shù)的選擇提供了依據(jù)。
　　準確率和運行效率是衡量系統(tǒng)的重要標準。通過對系統(tǒng)的完整測試，證明了系統(tǒng)可以很好的對網(wǎng)絡數(shù)