針對(duì)模板生成網(wǎng)頁的數(shù)據(jù)自動(dòng)抽取方法的探討與應(yīng)用.pdf

1、隨著Internet的迅速發(fā)展,互聯(lián)網(wǎng)已成為一個(gè)巨大的信息庫,為了有效地利用互聯(lián)網(wǎng)上的信息,各種Web信息抽取技術(shù)應(yīng)運(yùn)而生。目前,Web上的很多網(wǎng)頁是網(wǎng)站根據(jù)用戶請(qǐng)求從后臺(tái)數(shù)據(jù)庫中選取數(shù)據(jù)并嵌入到通用的模板中,并結(jié)合網(wǎng)站的特定需求而動(dòng)態(tài)生成的,例如電子商務(wù)網(wǎng)站的商品描述網(wǎng)頁等。針對(duì)如何從這類由模板生成的網(wǎng)頁中自動(dòng)地抽取出有效數(shù)據(jù)的問題,目前常用的經(jīng)典方法有RoadRunner,EXALG等,其中RoadRunner的實(shí)現(xiàn)算法的時(shí)間復(fù)雜度

2、呈指數(shù)級(jí)增長(zhǎng),其實(shí)用性不強(qiáng);雖然EXALG方法對(duì)RoadRunner方法進(jìn)行了有效的改進(jìn),但是仍然缺乏對(duì)網(wǎng)頁中可視化布局信息、標(biāo)記屬性和字符串的相似度等重要特征的考慮。因此,本文針對(duì)上述這些問題研討了相關(guān)網(wǎng)頁模板檢測(cè)問題的形式化描述,結(jié)合該類網(wǎng)頁的結(jié)構(gòu)特征,探討了一種新的模板檢測(cè)方法;并且利用檢測(cè)出的模板完成對(duì)相關(guān)實(shí)例網(wǎng)頁的數(shù)據(jù)自動(dòng)抽取過程;最終將該基于有效模板檢測(cè)的網(wǎng)頁數(shù)據(jù)自動(dòng)抽取算法應(yīng)用于某電子商務(wù)網(wǎng)站的相關(guān)網(wǎng)頁的數(shù)據(jù)抽取過程中,即

3、對(duì)某網(wǎng)站中的商品列表信息和商品詳細(xì)信息等重要數(shù)據(jù)實(shí)現(xiàn)了自動(dòng)抽取的工作。與其他方法相比,該方法能夠適應(yīng)于“列表頁面”和“詳細(xì)頁面”兩種類型的網(wǎng)頁,在該類網(wǎng)頁數(shù)據(jù)抽取的查全率和準(zhǔn)確率方面有了較大的改進(jìn)。本文的主要內(nèi)容和結(jié)構(gòu)安排如下:首先,介紹針對(duì)模板生成網(wǎng)頁的數(shù)據(jù)抽取方法的發(fā)展現(xiàn)狀以及相關(guān)技術(shù),并闡述了論文的研究目標(biāo)和工作內(nèi)容。其次,介紹了Web數(shù)據(jù)抽取過程中主流的網(wǎng)頁數(shù)據(jù)抽取技術(shù),系統(tǒng)地剖析了目前廣泛采用的經(jīng)典的網(wǎng)頁數(shù)據(jù)抽取技術(shù)中存在的優(yōu)

4、勢(shì)與不足,以此為基礎(chǔ),文中研討了一種有效的針對(duì)模板生成網(wǎng)頁的數(shù)據(jù)抽取方法及其實(shí)現(xiàn)算法,即針對(duì)該類網(wǎng)頁,完成了相應(yīng)網(wǎng)頁有效數(shù)據(jù)的自動(dòng)抽取工作。接著,重點(diǎn)闡述了文中所研討的針對(duì)模板生成網(wǎng)頁的數(shù)據(jù)自動(dòng)抽取算法的設(shè)計(jì)與實(shí)現(xiàn)過程。該算法首先將已經(jīng)凈化的HTML頁面解析成標(biāo)簽樹和標(biāo)簽隊(duì)列兩種數(shù)據(jù)結(jié)構(gòu);其次針對(duì)大部分網(wǎng)頁中存在導(dǎo)航條、廣告及版本信息等一些與抽取內(nèi)容無關(guān)的數(shù)據(jù)信息,采用文中所提出的具體有效的標(biāo)簽樹匹配算法過濾上述無關(guān)/冗余的數(shù)據(jù)信息;然

5、后通過該數(shù)據(jù)自動(dòng)抽取算法中計(jì)算Ctokens的核心子算法將這類HTML頁面進(jìn)行有效的標(biāo)簽歸類,以期基于所生成的Ctokens來自動(dòng)抽取出該類網(wǎng)頁的模板結(jié)構(gòu)信息數(shù)據(jù)和字段層次上的有效網(wǎng)頁生成數(shù)據(jù)。最后,根據(jù)文中所研討的方法及實(shí)現(xiàn)算法,嘗試性地構(gòu)造了一個(gè)針對(duì)模板生成網(wǎng)頁的數(shù)據(jù)自動(dòng)抽取原型系統(tǒng),該系統(tǒng)能夠完成對(duì)相關(guān)電子商務(wù)網(wǎng)站中該類網(wǎng)頁(如:商品的“列表頁面”和“詳細(xì)頁面”的具體網(wǎng)頁)的有效數(shù)據(jù)的自動(dòng)抽裙ぷ?該抽取過程的查全率和準(zhǔn)確率都有較大