基于熱點(diǎn)網(wǎng)站內(nèi)容分析的超鏈接提取研究.pdf

1、互聯(lián)網(wǎng)上的信息十分廣泛,而這里面有許多是人們關(guān)心的熱點(diǎn)信息,這些熱點(diǎn)網(wǎng)站上的內(nèi)容,代表了互聯(lián)網(wǎng)信息最受關(guān)注的部分,本文的目的就是對(duì)NBA熱點(diǎn)網(wǎng)站內(nèi)容進(jìn)行分析,解析其中的超鏈接以及對(duì)應(yīng)的正文信息,然后再通過(guò)URL與正文反饋網(wǎng)站的熱度。
　　 本文首先介紹了網(wǎng)頁(yè)信息提取技術(shù)概述及發(fā)展歷史和現(xiàn)狀,分析了網(wǎng)頁(yè)信息提取技術(shù)分類和常用算法,對(duì)網(wǎng)頁(yè)信息提取技術(shù)進(jìn)行了相關(guān)闡述。其次,對(duì)熱點(diǎn)網(wǎng)站頁(yè)面內(nèi)容特點(diǎn)進(jìn)行了分析,主要包括熱點(diǎn)網(wǎng)站及熱點(diǎn)網(wǎng)站體

2、育NBA特點(diǎn)、搜狐與網(wǎng)易NBA頁(yè)面特點(diǎn)及比較、從網(wǎng)頁(yè)語(yǔ)言特點(diǎn)分析熱點(diǎn)網(wǎng)站、熱點(diǎn)內(nèi)容分析與內(nèi)部關(guān)系等。通過(guò)對(duì)比,總結(jié)出NBA類熱點(diǎn)網(wǎng)站內(nèi)容的特點(diǎn),而這些特點(diǎn)非常適合通過(guò)一些HTML解析器來(lái)分析處理。通過(guò)對(duì)比主流HTML解析器的特點(diǎn),闡述了HTML Parser在解析熱點(diǎn)網(wǎng)頁(yè)上的優(yōu)勢(shì),通過(guò)對(duì)熱點(diǎn)網(wǎng)頁(yè)采集的實(shí)現(xiàn),進(jìn)一步驗(yàn)證了網(wǎng)頁(yè)的內(nèi)部組成結(jié)構(gòu)及其構(gòu)成特點(diǎn)等,提出了一種基于HTML Parser。的熱點(diǎn)雙反饋URL及正文提取策略:首先通過(guò)HTM

3、L Parser提取網(wǎng)頁(yè)的URL,然后從URL中提取正文,通過(guò)提取的正文反饋URL的熱度,再通過(guò)URL反饋整個(gè)網(wǎng)頁(yè)的熱度。
　　 最后,本文實(shí)現(xiàn)了基于HTML Parser的網(wǎng)站超鏈接信息提取。論文中主要介紹了利用兩種算法實(shí)現(xiàn)熱點(diǎn)網(wǎng)站超鏈接及正文文本信息的提取。系統(tǒng)運(yùn)行結(jié)果及有效性評(píng)價(jià)主要通過(guò)查詢搜狐體育NBA和網(wǎng)易體育NBA提取的結(jié)果,測(cè)試準(zhǔn)確率和召回率兩個(gè)性能指標(biāo),比較兩個(gè)熱點(diǎn)網(wǎng)站的鏈接提取效果,并通過(guò)URL與正文信息反饋網(wǎng)