針對模板生成網(wǎng)頁的數(shù)據(jù)自動抽取方法的探討與應(yīng)用.pdf

1、隨著Internet的迅速發(fā)展,互聯(lián)網(wǎng)已成為一個巨大的信息庫,為了有效地利用互聯(lián)網(wǎng)上的信息,各種Web信息抽取技術(shù)應(yīng)運而生。目前,Web上的很多網(wǎng)頁是網(wǎng)站根據(jù)用戶請求從后臺數(shù)據(jù)庫中選取數(shù)據(jù)并嵌入到通用的模板中,并結(jié)合網(wǎng)站的特定需求而動態(tài)生成的,例如電子商務(wù)網(wǎng)站的商品描述網(wǎng)頁等。針對如何從這類由模板生成的網(wǎng)頁中自動地抽取出有效數(shù)據(jù)的問題,目前常用的經(jīng)典方法有RoadRunner,EXALG等,其中RoadRunner的實現(xiàn)算法的時間復(fù)雜度

2、呈指數(shù)級增長,其實用性不強;雖然EXALG方法對RoadRunner方法進行了有效的改進,但是仍然缺乏對網(wǎng)頁中可視化布局信息、標(biāo)記屬性和字符串的相似度等重要特征的考慮。因此,本文針對上述這些問題研討了相關(guān)網(wǎng)頁模板檢測問題的形式化描述,結(jié)合該類網(wǎng)頁的結(jié)構(gòu)特征,探討了一種新的模板檢測方法;并且利用檢測出的模板完成對相關(guān)實例網(wǎng)頁的數(shù)據(jù)自動抽取過程;最終將該基于有效模板檢測的網(wǎng)頁數(shù)據(jù)自動抽取算法應(yīng)用于某電子商務(wù)網(wǎng)站的相關(guān)網(wǎng)頁的數(shù)據(jù)抽取過程中,即

3、對某網(wǎng)站中的商品列表信息和商品詳細信息等重要數(shù)據(jù)實現(xiàn)了自動抽取的工作。與其他方法相比,該方法能夠適應(yīng)于“列表頁面”和“詳細頁面”兩種類型的網(wǎng)頁,在該類網(wǎng)頁數(shù)據(jù)抽取的查全率和準(zhǔn)確率方面有了較大的改進。本文的主要內(nèi)容和結(jié)構(gòu)安排如下:首先,介紹針對模板生成網(wǎng)頁的數(shù)據(jù)抽取方法的發(fā)展現(xiàn)狀以及相關(guān)技術(shù),并闡述了論文的研究目標(biāo)和工作內(nèi)容。其次,介紹了Web數(shù)據(jù)抽取過程中主流的網(wǎng)頁數(shù)據(jù)抽取技術(shù),系統(tǒng)地剖析了目前廣泛采用的經(jīng)典的網(wǎng)頁數(shù)據(jù)抽取技術(shù)中存在的優(yōu)

4、勢與不足,以此為基礎(chǔ),文中研討了一種有效的針對模板生成網(wǎng)頁的數(shù)據(jù)抽取方法及其實現(xiàn)算法,即針對該類網(wǎng)頁,完成了相應(yīng)網(wǎng)頁有效數(shù)據(jù)的自動抽取工作。接著,重點闡述了文中所研討的針對模板生成網(wǎng)頁的數(shù)據(jù)自動抽取算法的設(shè)計與實現(xiàn)過程。該算法首先將已經(jīng)凈化的HTML頁面解析成標(biāo)簽樹和標(biāo)簽隊列兩種數(shù)據(jù)結(jié)構(gòu);其次針對大部分網(wǎng)頁中存在導(dǎo)航條、廣告及版本信息等一些與抽取內(nèi)容無關(guān)的數(shù)據(jù)信息,采用文中所提出的具體有效的標(biāo)簽樹匹配算法過濾上述無關(guān)/冗余的數(shù)據(jù)信息;然

5、后通過該數(shù)據(jù)自動抽取算法中計算Ctokens的核心子算法將這類HTML頁面進行有效的標(biāo)簽歸類,以期基于所生成的Ctokens來自動抽取出該類網(wǎng)頁的模板結(jié)構(gòu)信息數(shù)據(jù)和字段層次上的有效網(wǎng)頁生成數(shù)據(jù)。最后,根據(jù)文中所研討的方法及實現(xiàn)算法,嘗試性地構(gòu)造了一個針對模板生成網(wǎng)頁的數(shù)據(jù)自動抽取原型系統(tǒng),該系統(tǒng)能夠完成對相關(guān)電子商務(wù)網(wǎng)站中該類網(wǎng)頁(如:商品的“列表頁面”和“詳細頁面”的具體網(wǎng)頁)的有效數(shù)據(jù)的自動抽裙ぷ?該抽取過程的查全率和準(zhǔn)確率都有較大