基于結(jié)構(gòu)與視覺(jué)一致性的網(wǎng)頁(yè)新聞提取研究及應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的大規(guī)模普及和持續(xù)高速發(fā)展，成千上萬(wàn)的新聞網(wǎng)站應(yīng)運(yùn)而生并源源不斷發(fā)布海量新聞網(wǎng)頁(yè)。然而計(jì)算機(jī)程序并不能直接地理解新聞網(wǎng)頁(yè)中哪些部分是新聞標(biāo)題和正文，因而無(wú)法對(duì)網(wǎng)頁(yè)中的內(nèi)容進(jìn)行有效檢索。因此在網(wǎng)絡(luò)應(yīng)用背景下的信息檢索對(duì)信息自動(dòng)提取技術(shù)存在巨大需求。
　　 本文中研究了兩種各有特點(diǎn)的網(wǎng)頁(yè)新聞提取技術(shù)，并基于這兩種技術(shù)設(shè)計(jì)及實(shí)現(xiàn)了一個(gè)網(wǎng)頁(yè)新聞提取系統(tǒng)。1)本文首先研究了一種基于新聞網(wǎng)頁(yè)結(jié)構(gòu)一致性的網(wǎng)頁(yè)新聞提取算法。該算法基于

2、網(wǎng)頁(yè)模板自動(dòng)推導(dǎo)，并緊密結(jié)合新聞網(wǎng)頁(yè)的結(jié)構(gòu)一致性特點(diǎn)：通過(guò)填充模板動(dòng)態(tài)生成的網(wǎng)頁(yè)中包含的數(shù)據(jù)盡管各不相同，但都具有相似的網(wǎng)頁(yè)結(jié)構(gòu)。該算法在傳統(tǒng)的模板推導(dǎo)算法基礎(chǔ)上引入了重復(fù)模式歸并技術(shù)，提高了網(wǎng)頁(yè)聚類過(guò)程的準(zhǔn)確性。此外該算法通過(guò)有效利用少量的用戶標(biāo)注，有效區(qū)分了網(wǎng)頁(yè)模板中的重要和無(wú)關(guān)內(nèi)容。2)本文隨后研究了一種基于新聞網(wǎng)頁(yè)視覺(jué)一致性的網(wǎng)頁(yè)新聞提取算法。該算法具有與模板無(wú)關(guān)的優(yōu)點(diǎn)，能夠提取由未知模板生成的新聞網(wǎng)頁(yè)。該算法基于機(jī)器學(xué)習(xí)模型的