面向網(wǎng)絡(luò)輿情分析的Web數(shù)據(jù)源獲取關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的普及與發(fā)展,World Wide Web已經(jīng)發(fā)展成一個巨大的信息空間,如何從浩瀚的信息資源中快速尋找并獲取到適合網(wǎng)絡(luò)輿情分析的源數(shù)據(jù)已經(jīng)成為一個難題?，F(xiàn)有的Web信息獲取技術(shù)具有一定的局限性,本文將從面向輿情分析的網(wǎng)絡(luò)爬蟲和自動化的Web信息抽取兩方面著手研究適合輿情分析的數(shù)據(jù)獲取技術(shù),為網(wǎng)絡(luò)輿情分析提供數(shù)據(jù)支持。本文首先介紹了網(wǎng)絡(luò)爬蟲和Web信息抽取的背景及發(fā)展歷史,分析了現(xiàn)有典型技術(shù)的特點與不足。然后分析了網(wǎng)絡(luò)輿情分析對

2、源數(shù)據(jù)的特殊要求,根據(jù)這些特殊要求結(jié)合兩大數(shù)據(jù)源論壇和博客網(wǎng)站的特點分別設(shè)計了專用爬蟲。針對論壇類網(wǎng)站設(shè)計了三層頁面結(jié)構(gòu)的爬行策略來提高效率；采用一次設(shè)置、重復(fù)使用的方法降低手工工作量；通過倒序爬行策略解決了回帖更新的問題。針對博客類網(wǎng)站采用了以用戶為單位的爬行策略,通過用戶ID直接內(nèi)存映射的方式快速檢查重復(fù)用戶；采用原始數(shù)據(jù)頁面爬行,獲取更新數(shù)據(jù)RSS的策略保證獲取信息的效率；引入重點用戶監(jiān)控的概念保證重要數(shù)據(jù)獲取的實時性。接下來探討

3、了一種針對列表式頁面的全自動Web信息抽取與分類的方法。本文中的方法以頁面DOM Tree結(jié)構(gòu)和文本的特征為基礎(chǔ),首先對Web頁面進行預(yù)處理；然后構(gòu)建出頁面的DOM Tree;再通過查找相似子樹和特征判斷的方法進行有效數(shù)據(jù)記錄集的抽??；接下來通過HTML標簽的結(jié)構(gòu)特征從有效數(shù)據(jù)記錄集中的每一個數(shù)據(jù)記錄中抽取詳細信息；最后通過分析模板文本、HTML標簽的Class屬性值、樣式標簽名和文本格式等特征來對詳細信息進行分類。最后對本文中方法進行