基于分類技術(shù)的網(wǎng)頁去噪方法的研究.pdf

1、互聯(lián)網(wǎng)的快速發(fā)展使網(wǎng)絡(luò)上的各種信息呈現(xiàn)出快速增長的趨勢。如何從浩瀚的互聯(lián)網(wǎng)文本中獲取有效信息、分析網(wǎng)頁數(shù)據(jù)之間的關(guān)聯(lián)性等，是自然語言處理領(lǐng)域的一項(xiàng)挑戰(zhàn)。網(wǎng)頁導(dǎo)航、主題信息、超鏈接信息、版權(quán)信息等構(gòu)成一個(gè)網(wǎng)頁，其中除了網(wǎng)頁正文信息外，其他的信息對(duì)于研究人員來說都屬于噪音信息，這些噪音信息會(huì)對(duì)Web信息檢索，網(wǎng)頁分類等研究產(chǎn)生了不利的影響。
　　為了使自然語言處理技術(shù)更好地應(yīng)用到網(wǎng)頁信息的研究中，提高對(duì)網(wǎng)頁正文的處理能力，同時(shí)降低網(wǎng)頁

2、去噪領(lǐng)域?qū)τ诰W(wǎng)頁模板的依賴性，本文提出了一種基于網(wǎng)頁標(biāo)簽位置特征與文本特征相結(jié)合的網(wǎng)頁去噪方法。該方法將HTML網(wǎng)頁映射為相應(yīng)的DOM樹，在分析DOM樹結(jié)構(gòu)的基礎(chǔ)上，抽取其中每一個(gè)標(biāo)簽節(jié)點(diǎn)的位置特征以及文本特征，同時(shí)考慮正文與標(biāo)題的語義相似性，將這些DOM樹節(jié)點(diǎn)在網(wǎng)頁中所屬的塊分為正文節(jié)點(diǎn)和噪音節(jié)點(diǎn)，最后將它們表示為樣本數(shù)據(jù)，運(yùn)用機(jī)器學(xué)習(xí)中的分類方法進(jìn)行分類實(shí)驗(yàn)。該方法實(shí)現(xiàn)簡單且對(duì)于網(wǎng)頁的模板依賴較小，具有一定的通用性。
　　實(shí)驗(yàn)