網(wǎng)頁信息抽取方法研究與應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，信息的豐富也帶來“信息過載”的問題，同時(shí)各種專業(yè)信息網(wǎng)站的不斷增多，為了給用戶提供準(zhǔn)確有效的個(gè)性化信息服務(wù)，信息抽取成為必要。從網(wǎng)頁中抽取信息的程序稱為Wrapper。大型Web站點(diǎn)和新Web站點(diǎn)的不斷出現(xiàn)，要求Wrapper的構(gòu)造要盡可能自動(dòng)化，不需要過多的人為參與，要盡可能快速，并且，構(gòu)造出的Wrapper要盡可能健壯，能適應(yīng)網(wǎng)頁的變化。 針對Wrapper的構(gòu)造問題，人們提出了各種各樣的方法，但許多的

2、方法在減少人為參與時(shí)，準(zhǔn)確率也會(huì)下降，許多方法不能適應(yīng)網(wǎng)頁的變化，并且大多數(shù)的方法都由人來標(biāo)記抽取結(jié)果。 針對上述存在問題，本文提出了一種基于相似網(wǎng)頁的網(wǎng)頁模板歸納方法和一種基于相似記錄的記錄模板歸納方法。網(wǎng)頁模板歸納方法在分析網(wǎng)頁結(jié)構(gòu)的同時(shí)，結(jié)合了內(nèi)容的語義特征，從而能快速準(zhǔn)確地抽取出網(wǎng)頁的主題信息。記錄模板歸納方法，通過比較記錄子樹，確定記錄模板，能夠在記錄的表現(xiàn)模式存在一定的差異的情況下正確抽取出記錄數(shù)據(jù)。最后，結(jié)合傳統(tǒng)的

3、文本分類方法和隱式馬爾可夫模型提出了基于多學(xué)習(xí)策略的記錄字段抽取方法，可以從單個(gè)記錄中抽取有關(guān)的對象以及它們間的關(guān)系。 最后，基于本文提出的方法開發(fā)了一個(gè)IPTV (Intemet Protocol Television，交互式網(wǎng)絡(luò)電視)電視節(jié)目單信息抽取系統(tǒng)，從給定的電視頻道節(jié)目預(yù)告頁面中抽取出電視節(jié)目單信息，加入到數(shù)據(jù)庫中，為IPTV用戶提供及時(shí)、準(zhǔn)確的電視節(jié)目預(yù)告服務(wù)。該系統(tǒng)已經(jīng)運(yùn)用到3TNET高性能寬帶網(wǎng)中，從2006年