半結(jié)構(gòu)化網(wǎng)頁的信息抽取技術(shù)研究.pdf

1、隨著國際互聯(lián)網(wǎng)的迅猛發(fā)展,網(wǎng)絡(luò)已經(jīng)成為人們發(fā)布和獲取信息的一個(gè)重要平臺。目前,大部分網(wǎng)頁都是通過服務(wù)器根據(jù)請求從后臺數(shù)據(jù)庫中查詢相關(guān)數(shù)據(jù),然后展示到一個(gè)列表頁面當(dāng)中。這些頁面一般都是由特定的入口查詢獲得的,而且網(wǎng)頁中的數(shù)據(jù)很難被其它應(yīng)用程序直接利用。因此如何自動抽取這些頁面中的重要信息就變得非常重要。
　　 介紹了網(wǎng)頁信息抽取技術(shù)的概念,要解決的主要問題以及相關(guān)技術(shù),分析了常用的網(wǎng)頁信息抽取算法及優(yōu)缺點(diǎn)。針對現(xiàn)有方法對主數(shù)據(jù)區(qū)域

2、的定位不準(zhǔn)確的問題,將最大扇出子樹法、最大內(nèi)容量增大法和最大標(biāo)記量法三種啟發(fā)式規(guī)則相結(jié)合,定位網(wǎng)頁的主數(shù)據(jù)區(qū)域。在數(shù)據(jù)記錄分離的過程中,現(xiàn)有方法需要對所有子樹進(jìn)行相似度判斷,算法效率較低,針對這一問題,提出了一種基于樹編輯距離的聚類算法,增加了聚類算法,減少了予樹的比較次數(shù),提高了算法效率。同時(shí)采用樹編輯距離表示子樹之間的相似度,更符合網(wǎng)頁的層次結(jié)構(gòu),算法準(zhǔn)確率更高。聚類后得到數(shù)據(jù)記錄的候選分割方案,給出了類之間相似度的計(jì)算公式,獲得最