基于標(biāo)簽路徑特征的網(wǎng)頁(yè)正文自適應(yīng)抽取方法研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，Web已經(jīng)成為重要的信息發(fā)布平臺(tái)。然而，Web網(wǎng)頁(yè)中除了正文信息，還包含著導(dǎo)航、廣告和版權(quán)信息等大量與網(wǎng)頁(yè)主題無(wú)關(guān)的“噪音”信息。網(wǎng)頁(yè)中的噪音信息會(huì)大大降低搜索引擎、新聞聚合等系統(tǒng)的效果，同時(shí)也為這些系統(tǒng)的存儲(chǔ)造成了負(fù)擔(dān)。因此，網(wǎng)頁(yè)正文抽取問題具有重要的研究意義和應(yīng)用價(jià)值。
　　本文開展的研究工作如下:
　　(1)提出了基于標(biāo)簽路徑特征融合的在線Web新聞內(nèi)容抽取方法CEPF。設(shè)計(jì)了標(biāo)簽路徑特征系，并提

2、出一種方法將標(biāo)簽路徑系中的特征融合為一個(gè)新的特征TPF。相對(duì)于標(biāo)簽路徑中的每個(gè)特征，TPF都具有更好的區(qū)分網(wǎng)頁(yè)正文和噪音的能力。在特征融合階段，一種基于譜聚類的特征選擇方法被用來(lái)刪除冗余的標(biāo)簽路徑特征。CEPF利用基于標(biāo)簽路徑編輯距離的高斯平滑方法更新TPF特征值，基于平滑后的TPF值和最大類間方差法自適應(yīng)地從網(wǎng)頁(yè)中抽取正文信息。CEPF方法是無(wú)監(jiān)督的。實(shí)驗(yàn)結(jié)果表明，CEPF是一種準(zhǔn)確、通用且與語(yǔ)言無(wú)關(guān)的的Web新聞內(nèi)容抽取方法。

3、>　　(2)提出了基于長(zhǎng)文本標(biāo)簽比的網(wǎng)頁(yè)正文抽取方法CELTR，該方法從網(wǎng)頁(yè)DOM樹中抽取對(duì)應(yīng)正文信息的子樹。CELTR使用最大類間方差法自適應(yīng)地為DOM樹的每個(gè)子樹計(jì)算長(zhǎng)文本標(biāo)簽比(LTR)。在大多數(shù)情況下，對(duì)應(yīng)網(wǎng)頁(yè)正文的子樹比對(duì)應(yīng)網(wǎng)頁(yè)噪音的子樹具有更高的LTR值，但仍存在少數(shù)反常的情況，為此我們?cè)贚TR的基礎(chǔ)上擴(kuò)展出LTRS和RLTRS。CELTR利用LTR、LTRS和RLTRS三個(gè)特征通過對(duì)子樹聚類的方法從網(wǎng)頁(yè)中抽取正文。CELT