基于web的網(wǎng)頁(yè)鏈接與正文抽取技術(shù)研究.pdf

2、本進(jìn)行選取，而后將學(xué)習(xí)到的鏈接模式表示為正則表達(dá)式，最終將鏈接模式與頁(yè)面所有鏈接進(jìn)行匹配，獲得主題鏈接。該方法的優(yōu)點(diǎn)是對(duì)更新頻繁的頁(yè)面進(jìn)行鏈接抽取時(shí)，抽取時(shí)間大大縮短，克服了每次對(duì)同類(lèi)網(wǎng)站頁(yè)面進(jìn)行相同的頁(yè)面分析，適合周期性的對(duì)同一頁(yè)面進(jìn)行鏈接抽取。方法實(shí)現(xiàn)了快速、高效的鏈接抽取。
　　網(wǎng)頁(yè)正文的抽取是指將存在于網(wǎng)頁(yè)中的，與網(wǎng)頁(yè)主題相關(guān)的、結(jié)構(gòu)完整的文本提取出來(lái)。傳統(tǒng)的方法是將網(wǎng)頁(yè)結(jié)構(gòu)表示成樹(shù)，但建樹(shù)與查找樹(shù)的過(guò)程中，空間與時(shí)間復(fù)雜

3、度都過(guò)高。而且網(wǎng)頁(yè)標(biāo)簽嵌套現(xiàn)象普遍，在后續(xù)正文抽取中，理清各文本段落間的關(guān)系需要反復(fù)遍歷其祖先及后代，效率低下。本文提出了基于線性化的段落劃分聚類(lèi)的網(wǎng)頁(yè)正文抽取方法。該方法將網(wǎng)頁(yè)源代碼進(jìn)行線性化重構(gòu)，然后利用重構(gòu)后的代碼進(jìn)行網(wǎng)頁(yè)噪聲的初步去除，再經(jīng)過(guò)原始段落集的過(guò)濾劃分、段落聚類(lèi)得到網(wǎng)頁(yè)正文的脈絡(luò)段落，最后通過(guò)吸收偽噪聲段落生成網(wǎng)頁(yè)正文。該方法克服了對(duì)網(wǎng)頁(yè)建樹(shù)的復(fù)雜過(guò)程，具有簡(jiǎn)單、快速、準(zhǔn)確的特點(diǎn),實(shí)驗(yàn)表明該方法的抽取準(zhǔn)確率可以達(dá)99％