基于頁面主體提取的WEB信息抽取技術(shù)研究.pdf

1、隨著Internet的飛速發(fā)展，互聯(lián)網(wǎng)上的數(shù)據(jù)量呈爆炸性增長，使得Web已經(jīng)成為全球信息傳播與共享的重要渠道，而網(wǎng)頁固有的半結(jié)構(gòu)性以及網(wǎng)絡(luò)上存在大量的與網(wǎng)頁主題無關(guān)的信息，使人們無法快速準(zhǔn)確的獲得所需要的信息。這種情況下，研究如何從Web中抽取出人們所需要的信息已經(jīng)變得越來越重要。
　　國內(nèi)外學(xué)者在這方面已經(jīng)有了大量的研究。然而通過對(duì)現(xiàn)有Web信息抽取方法和當(dāng)前Web網(wǎng)頁特點(diǎn)的分析，發(fā)現(xiàn)現(xiàn)有抽取技術(shù)存在自動(dòng)化程度不夠和抽取結(jié)果不準(zhǔn)

2、確的問題。為了彌補(bǔ)以上的兩個(gè)不足，本文提出了一種基于頁面主體提取的Web信息抽取方法，主要包括頁面預(yù)處理、頁面主體提取、抽取規(guī)則生成、信息抽取四個(gè)模塊。頁面預(yù)處理模塊利用JTidy完成對(duì)HTML標(biāo)簽的格式化，以及頁面中一些與主題無關(guān)內(nèi)容的去除。頁面主體提取模塊使用HTMLParser對(duì)頁面進(jìn)行解析，得到與Web頁面對(duì)應(yīng)的結(jié)構(gòu)樹，然后分析結(jié)構(gòu)樹，使用基于MMTD的算法識(shí)別出頁面的主體部分。而抽取規(guī)則生成模塊則使用了XPATH和XSLT，針

3、對(duì)頁面主體生成一類頁面的抽取規(guī)則。信息抽取模塊將抽取規(guī)則運(yùn)用于待抽取頁面便得到我們需要的信息，并將其存入數(shù)據(jù)庫，以方便人們查找并使用。在以上的處理過程中，Web信息的抽取是在頁面主體提取的基礎(chǔ)上完成的，這也是說此方法是基于頁面主體提取的原因。
　　本文提出的方法屬于自動(dòng)的信息抽取，整個(gè)抽取過程幾乎完全不需要人工參與，與已有研究相比，自動(dòng)化程度較高；且利用了強(qiáng)大而靈活的XPATH和XSLT使得規(guī)則生成的過程大大簡(jiǎn)化，同時(shí)提高了抽取方