基于DOM樹節(jié)點(diǎn)重要度的WEB主題信息提取研究.pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，WEB所承載的數(shù)據(jù)與日俱增，其信息冗余、形式多樣、處理困難等問題也越來越突出，因此，WEB信息提取應(yīng)運(yùn)而生。又由于WEB頁面中包含了大量的與主題無關(guān)的信息，影響了用戶從中快速定位并獲取主題內(nèi)容。所以，對(duì)頁面主題信息的提取顯得尤為重要，其不但可以節(jié)省用戶大量的時(shí)間和精力，而且提取結(jié)果也可以用于數(shù)據(jù)挖掘等各個(gè)方面。WEB信息提取主要針對(duì)無結(jié)構(gòu)或者半結(jié)構(gòu)化的WEB頁面，且主流大多基于HTML結(jié)構(gòu)。在已有的相關(guān)研究中，研究

2、者在關(guān)注HTML標(biāo)簽的結(jié)構(gòu)的時(shí)候要么忽略了HTML標(biāo)簽的語義信息，要么忽略了標(biāo)簽的語義信息對(duì)其包含的文本內(nèi)容的影響。
　　本研究主要內(nèi)容包括：⑴引入了DOM樹節(jié)點(diǎn)重要度。由于標(biāo)簽的結(jié)構(gòu)和語義信息具有關(guān)聯(lián)關(guān)系，綜合考慮二者，將標(biāo)簽分為不同的類別，對(duì)應(yīng)到DOM樹中節(jié)點(diǎn)的分類，主要包括塊節(jié)點(diǎn)、行節(jié)點(diǎn)、視覺節(jié)點(diǎn)、鏈接節(jié)點(diǎn)、文本節(jié)點(diǎn)、其他節(jié)點(diǎn)。考慮到每類節(jié)點(diǎn)對(duì)主題信息的影響不同，為不同類型的節(jié)點(diǎn)設(shè)置相應(yīng)的影響因子，并定義節(jié)點(diǎn)重要度來統(tǒng)一表示

3、DOM樹節(jié)點(diǎn)對(duì)主題信息的影響。⑵提出了擴(kuò)展DOM樹模型。為了防止對(duì)DOM樹的處理過細(xì)，擴(kuò)展DOM樹模型對(duì)其進(jìn)行了簡(jiǎn)化，只保留可以承載主題信息的塊節(jié)點(diǎn)。在將非塊節(jié)點(diǎn)合并到塊節(jié)點(diǎn)的過程中，同時(shí)修改節(jié)點(diǎn)重要度，考慮到標(biāo)簽的語義信息對(duì)其文本內(nèi)容的影響，不同類型的節(jié)點(diǎn)進(jìn)行合并時(shí)，節(jié)點(diǎn)重要度計(jì)算方法不同。一旦合并完成后，就可以得到帶有節(jié)點(diǎn)重要度的擴(kuò)展DOM樹模型。⑶給出了基于擴(kuò)展DOM樹模型的WEB頁面主題信息提取方法。包括四個(gè)步驟：頁面清理、構(gòu)建