大規(guī)模Web信息抽取與文本分類研究.pdf

1、隨著互聯(lián)網(wǎng)技術的迅速普及，Web平臺已經(jīng)發(fā)展成為一個巨大的信息共享空間，如何高效的從此平臺中抽取信息已經(jīng)成為一個亟待解決的問題；與此同時，在這些信息中文本類信息占據(jù)著極其重要的地位，而Web文本信息的結構特點與內容特點給傳統(tǒng)的文本分類方法帶來了新的挑戰(zhàn)。針對以上情況，本文對大規(guī)模數(shù)據(jù)環(huán)境下的Web信息抽取以及Web文本分類進行了研究，主要工作如下：
　　首先，從Web信息抽取角度出發(fā)，提出一種基于DOM樹節(jié)點屬性與視覺特征的大規(guī)模

2、Web信息抽取方法。該方法主要包含以下三個模塊：（1）提出剪枝與融合方法，對Web頁面對應的DOM樹進行簡化操作；（2）定義DOM樹節(jié)點的密度屬性和內容塊的視覺特征，根據(jù)屬性值與特征值對Web頁面內容進行抽取；（3）引入MapReduce計算框架，對上述方法進行并行化處理，實現(xiàn)大規(guī)模Web信息的抽取。實驗結果表明該方法是高效且可行的。
　　其次，從Web文本分類角度出發(fā)，提出一種面向大規(guī)模文本類Web信息的分類方法。該方法主要包含

3、以下三個模塊：（1）針對Web長文本提出一種基于復雜網(wǎng)絡的特征選擇方法，網(wǎng)絡中的節(jié)點對應于文本中的詞條，網(wǎng)絡中的邊對應于詞條之間的關聯(lián)，通過節(jié)點的度與聚集系數(shù)來衡量對應詞條的重要性從而選擇特征詞；（2）對于Web長文本，提出基于 kNN的SVM決策樹分類方法；（3）對于Web短文本，通過構建長文本各類別的主題詞集合來引導短文本的分類，將短文本的歸類問題轉化為基于主題的一次檢索問題。實驗結果表明該方法在處理大規(guī)模Web文本時表現(xiàn)出了較好的