Web新聞內(nèi)容抽取的研究與實(shí)現(xiàn).pdf

1、互連網(wǎng)上的信息，很大一部分是以新聞的形式提供給用戶的，Web新聞內(nèi)容抽取的研究，可以幫助用戶迅速地從海量互連網(wǎng)信息中獲取想要的信息，有很重要的現(xiàn)實(shí)意義以及研究?jī)r(jià)值。 決策樹是一種常用于預(yù)測(cè)模型的算法，在市場(chǎng)劃分、金融風(fēng)險(xiǎn)、產(chǎn)品開發(fā)以及客戶評(píng)估中已經(jīng)得到了比較廣泛的應(yīng)用。通過將大量數(shù)據(jù)有目的地分類，從中找到一些具有商業(yè)價(jià)值的、潛在的信息。本文將決策樹應(yīng)用到新聞網(wǎng)頁新聞的判決中，通過對(duì)目標(biāo)數(shù)據(jù)的學(xué)習(xí)生成決策樹，根據(jù)生成的決策樹對(duì)未知

2、的輸入數(shù)據(jù)進(jìn)行決策，實(shí)現(xiàn)對(duì)目標(biāo)數(shù)據(jù)是否為新聞內(nèi)容的劃分，具有很好的實(shí)用效果。主要的工作如下： (1)提出了一種針對(duì)Web標(biāo)準(zhǔn)化網(wǎng)站的網(wǎng)頁分塊算法，該算法自頂向下遍歷Div節(jié)點(diǎn)樹，在遍歷的過程中根據(jù)當(dāng)前節(jié)點(diǎn)的孩子節(jié)點(diǎn)的塊重來決定如何對(duì)網(wǎng)頁進(jìn)行分塊。該算法對(duì)于目前國內(nèi)主流的新聞網(wǎng)站都可以適用。 (2)利用決策樹來抽取新聞內(nèi)容。對(duì)每個(gè)候選新聞內(nèi)容塊，抽取其特征屬性作為決策樹學(xué)習(xí)以及分類的輸入，并用學(xué)習(xí)出來的決策樹抽取新聞內(nèi)容塊