基于web的網(wǎng)頁鏈接與正文抽取技術(shù)研究.pdf

2、本進(jìn)行選取，而后將學(xué)習(xí)到的鏈接模式表示為正則表達(dá)式，最終將鏈接模式與頁面所有鏈接進(jìn)行匹配，獲得主題鏈接。該方法的優(yōu)點(diǎn)是對(duì)更新頻繁的頁面進(jìn)行鏈接抽取時(shí)，抽取時(shí)間大大縮短，克服了每次對(duì)同類網(wǎng)站頁面進(jìn)行相同的頁面分析，適合周期性的對(duì)同一頁面進(jìn)行鏈接抽取。方法實(shí)現(xiàn)了快速、高效的鏈接抽取。
　　網(wǎng)頁正文的抽取是指將存在于網(wǎng)頁中的，與網(wǎng)頁主題相關(guān)的、結(jié)構(gòu)完整的文本提取出來。傳統(tǒng)的方法是將網(wǎng)頁結(jié)構(gòu)表示成樹，但建樹與查找樹的過程中，空間與時(shí)間復(fù)雜

3、度都過高。而且網(wǎng)頁標(biāo)簽嵌套現(xiàn)象普遍，在后續(xù)正文抽取中，理清各文本段落間的關(guān)系需要反復(fù)遍歷其祖先及后代，效率低下。本文提出了基于線性化的段落劃分聚類的網(wǎng)頁正文抽取方法。該方法將網(wǎng)頁源代碼進(jìn)行線性化重構(gòu)，然后利用重構(gòu)后的代碼進(jìn)行網(wǎng)頁噪聲的初步去除，再經(jīng)過原始段落集的過濾劃分、段落聚類得到網(wǎng)頁正文的脈絡(luò)段落，最后通過吸收偽噪聲段落生成網(wǎng)頁正文。該方法克服了對(duì)網(wǎng)頁建樹的復(fù)雜過程，具有簡(jiǎn)單、快速、準(zhǔn)確的特點(diǎn),實(shí)驗(yàn)表明該方法的抽取準(zhǔn)確率可以達(dá)99％