網(wǎng)頁正文提取及去重技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的持續(xù)高速發(fā)展，網(wǎng)絡(luò)上的網(wǎng)頁數(shù)目成爆炸式增長，搜索引擎已成為人們?nèi)粘Ｉ钪斜夭豢缮俚墨@取信息的工具。然而，原始網(wǎng)頁中的非正文信息及網(wǎng)絡(luò)上的重復(fù)網(wǎng)頁給搜索引擎帶來了很大的干擾，這使得網(wǎng)頁正文提取及網(wǎng)頁去重成為搜索引擎領(lǐng)域亟待解決的兩個(gè)重要問題。
　　 本文提出了一種基于最大連續(xù)子序列和的網(wǎng)頁正文提取算法。該算法擺脫了現(xiàn)有主流方法對DOM樹的依賴，它和網(wǎng)頁HTML源碼結(jié)構(gòu)無關(guān)，從而提高了算法在執(zhí)行過程中的健壯性。最重要

2、的是，該算法以線性時(shí)間提取網(wǎng)頁正文內(nèi)容，大大提高了提取效率，同時(shí)以較高的精度保證提取結(jié)果的正確性。
　　 本文還提出了基于關(guān)鍵長句和預(yù)分類的網(wǎng)頁去重算法。該算法結(jié)合了基于上下文和和基于語義的特征提取技術(shù)的長處，將文中詞語的權(quán)重和所處上下文環(huán)境相結(jié)合，從而既發(fā)揮了語義的重要性，又發(fā)揮了上下文的聯(lián)系性，大大提高了文檔特征提取的準(zhǔn)確度，同時(shí)降低了所需特征的數(shù)量，提高了查重效率。另外，該算法在網(wǎng)頁正文提取的基礎(chǔ)上，提出了預(yù)分類技術(shù)，該技