針對模板生成網頁的數(shù)據自動抽取方法的探討與應用.pdf

1、隨著Internet的迅速發(fā)展,互聯(lián)網已成為一個巨大的信息庫,為了有效地利用互聯(lián)網上的信息,各種Web信息抽取技術應運而生。目前,Web上的很多網頁是網站根據用戶請求從后臺數(shù)據庫中選取數(shù)據并嵌入到通用的模板中,并結合網站的特定需求而動態(tài)生成的,例如電子商務網站的商品描述網頁等。針對如何從這類由模板生成的網頁中自動地抽取出有效數(shù)據的問題,目前常用的經典方法有RoadRunner,EXALG等,其中RoadRunner的實現(xiàn)算法的時間復雜度

2、呈指數(shù)級增長,其實用性不強;雖然EXALG方法對RoadRunner方法進行了有效的改進,但是仍然缺乏對網頁中可視化布局信息、標記屬性和字符串的相似度等重要特征的考慮。因此,本文針對上述這些問題研討了相關網頁模板檢測問題的形式化描述,結合該類網頁的結構特征,探討了一種新的模板檢測方法;并且利用檢測出的模板完成對相關實例網頁的數(shù)據自動抽取過程;最終將該基于有效模板檢測的網頁數(shù)據自動抽取算法應用于某電子商務網站的相關網頁的數(shù)據抽取過程中,即

3、對某網站中的商品列表信息和商品詳細信息等重要數(shù)據實現(xiàn)了自動抽取的工作。與其他方法相比,該方法能夠適應于“列表頁面”和“詳細頁面”兩種類型的網頁,在該類網頁數(shù)據抽取的查全率和準確率方面有了較大的改進。本文的主要內容和結構安排如下:首先,介紹針對模板生成網頁的數(shù)據抽取方法的發(fā)展現(xiàn)狀以及相關技術,并闡述了論文的研究目標和工作內容。其次,介紹了Web數(shù)據抽取過程中主流的網頁數(shù)據抽取技術,系統(tǒng)地剖析了目前廣泛采用的經典的網頁數(shù)據抽取技術中存在的優(yōu)

4、勢與不足,以此為基礎,文中研討了一種有效的針對模板生成網頁的數(shù)據抽取方法及其實現(xiàn)算法,即針對該類網頁,完成了相應網頁有效數(shù)據的自動抽取工作。接著,重點闡述了文中所研討的針對模板生成網頁的數(shù)據自動抽取算法的設計與實現(xiàn)過程。該算法首先將已經凈化的HTML頁面解析成標簽樹和標簽隊列兩種數(shù)據結構;其次針對大部分網頁中存在導航條、廣告及版本信息等一些與抽取內容無關的數(shù)據信息,采用文中所提出的具體有效的標簽樹匹配算法過濾上述無關/冗余的數(shù)據信息;然

5、后通過該數(shù)據自動抽取算法中計算Ctokens的核心子算法將這類HTML頁面進行有效的標簽歸類,以期基于所生成的Ctokens來自動抽取出該類網頁的模板結構信息數(shù)據和字段層次上的有效網頁生成數(shù)據。最后,根據文中所研討的方法及實現(xiàn)算法,嘗試性地構造了一個針對模板生成網頁的數(shù)據自動抽取原型系統(tǒng),該系統(tǒng)能夠完成對相關電子商務網站中該類網頁(如:商品的“列表頁面”和“詳細頁面”的具體網頁)的有效數(shù)據的自動抽裙ぷ?該抽取過程的查全率和準確率都有較大