大規(guī)模Web信息抽取與文本分類(lèi)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅速普及，Web平臺(tái)已經(jīng)發(fā)展成為一個(gè)巨大的信息共享空間，如何高效的從此平臺(tái)中抽取信息已經(jīng)成為一個(gè)亟待解決的問(wèn)題；與此同時(shí)，在這些信息中文本類(lèi)信息占據(jù)著極其重要的地位，而Web文本信息的結(jié)構(gòu)特點(diǎn)與內(nèi)容特點(diǎn)給傳統(tǒng)的文本分類(lèi)方法帶來(lái)了新的挑戰(zhàn)。針對(duì)以上情況，本文對(duì)大規(guī)模數(shù)據(jù)環(huán)境下的Web信息抽取以及Web文本分類(lèi)進(jìn)行了研究，主要工作如下：
　　首先，從Web信息抽取角度出發(fā)，提出一種基于DOM樹(shù)節(jié)點(diǎn)屬性與視覺(jué)特征的大規(guī)模

2、Web信息抽取方法。該方法主要包含以下三個(gè)模塊：（1）提出剪枝與融合方法，對(duì)Web頁(yè)面對(duì)應(yīng)的DOM樹(shù)進(jìn)行簡(jiǎn)化操作；（2）定義DOM樹(shù)節(jié)點(diǎn)的密度屬性和內(nèi)容塊的視覺(jué)特征，根據(jù)屬性值與特征值對(duì)Web頁(yè)面內(nèi)容進(jìn)行抽?。唬?）引入MapReduce計(jì)算框架，對(duì)上述方法進(jìn)行并行化處理，實(shí)現(xiàn)大規(guī)模Web信息的抽取。實(shí)驗(yàn)結(jié)果表明該方法是高效且可行的。
　　其次，從Web文本分類(lèi)角度出發(fā)，提出一種面向大規(guī)模文本類(lèi)Web信息的分類(lèi)方法。該方法主要包含

3、以下三個(gè)模塊：（1）針對(duì)Web長(zhǎng)文本提出一種基于復(fù)雜網(wǎng)絡(luò)的特征選擇方法，網(wǎng)絡(luò)中的節(jié)點(diǎn)對(duì)應(yīng)于文本中的詞條，網(wǎng)絡(luò)中的邊對(duì)應(yīng)于詞條之間的關(guān)聯(lián)，通過(guò)節(jié)點(diǎn)的度與聚集系數(shù)來(lái)衡量對(duì)應(yīng)詞條的重要性從而選擇特征詞；（2）對(duì)于Web長(zhǎng)文本，提出基于 kNN的SVM決策樹(shù)分類(lèi)方法；（3）對(duì)于Web短文本，通過(guò)構(gòu)建長(zhǎng)文本各類(lèi)別的主題詞集合來(lái)引導(dǎo)短文本的分類(lèi)，將短文本的歸類(lèi)問(wèn)題轉(zhuǎn)化為基于主題的一次檢索問(wèn)題。實(shí)驗(yàn)結(jié)果表明該方法在處理大規(guī)模Web文本時(shí)表現(xiàn)出了較好的