大規(guī)模Web信息抽取與文本分類研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅速普及，Web平臺(tái)已經(jīng)發(fā)展成為一個(gè)巨大的信息共享空間，如何高效的從此平臺(tái)中抽取信息已經(jīng)成為一個(gè)亟待解決的問題；與此同時(shí)，在這些信息中文本類信息占據(jù)著極其重要的地位，而Web文本信息的結(jié)構(gòu)特點(diǎn)與內(nèi)容特點(diǎn)給傳統(tǒng)的文本分類方法帶來了新的挑戰(zhàn)。針對(duì)以上情況，本文對(duì)大規(guī)模數(shù)據(jù)環(huán)境下的Web信息抽取以及Web文本分類進(jìn)行了研究，主要工作如下：
　　首先，從Web信息抽取角度出發(fā)，提出一種基于DOM樹節(jié)點(diǎn)屬性與視覺特征的大規(guī)模

2、Web信息抽取方法。該方法主要包含以下三個(gè)模塊：（1）提出剪枝與融合方法，對(duì)Web頁面對(duì)應(yīng)的DOM樹進(jìn)行簡化操作；（2）定義DOM樹節(jié)點(diǎn)的密度屬性和內(nèi)容塊的視覺特征，根據(jù)屬性值與特征值對(duì)Web頁面內(nèi)容進(jìn)行抽??；（3）引入MapReduce計(jì)算框架，對(duì)上述方法進(jìn)行并行化處理，實(shí)現(xiàn)大規(guī)模Web信息的抽取。實(shí)驗(yàn)結(jié)果表明該方法是高效且可行的。
　　其次，從Web文本分類角度出發(fā)，提出一種面向大規(guī)模文本類Web信息的分類方法。該方法主要包含

3、以下三個(gè)模塊：（1）針對(duì)Web長文本提出一種基于復(fù)雜網(wǎng)絡(luò)的特征選擇方法，網(wǎng)絡(luò)中的節(jié)點(diǎn)對(duì)應(yīng)于文本中的詞條，網(wǎng)絡(luò)中的邊對(duì)應(yīng)于詞條之間的關(guān)聯(lián)，通過節(jié)點(diǎn)的度與聚集系數(shù)來衡量對(duì)應(yīng)詞條的重要性從而選擇特征詞；（2）對(duì)于Web長文本，提出基于 kNN的SVM決策樹分類方法；（3）對(duì)于Web短文本，通過構(gòu)建長文本各類別的主題詞集合來引導(dǎo)短文本的分類，將短文本的歸類問題轉(zhuǎn)化為基于主題的一次檢索問題。實(shí)驗(yàn)結(jié)果表明該方法在處理大規(guī)模Web文本時(shí)表現(xiàn)出了較好的