面向信息抽取的Web頁(yè)面結(jié)構(gòu)挖掘技術(shù)研究.pdf

1、信息抽取是解決從海量Web頁(yè)面中提取有價(jià)值的信息和知識(shí)的重要技術(shù)手段，而頁(yè)面結(jié)構(gòu)特征的挖掘和提取是信息抽取過(guò)程的關(guān)鍵步驟。然而，已有的頁(yè)面結(jié)構(gòu)挖掘方法大多數(shù)依賴于啟發(fā)式規(guī)則和人工標(biāo)注，這對(duì)于海量、異構(gòu)的Web頁(yè)面來(lái)說(shuō)，不管是效率還是可擴(kuò)展性都難以滿足實(shí)際應(yīng)用的要求。因此，信息抽取應(yīng)用的發(fā)展迫切要求更智能化、自動(dòng)化的頁(yè)面結(jié)構(gòu)挖掘技術(shù)。
　　基于以上背景，針對(duì)Web頁(yè)面結(jié)構(gòu)挖掘中的兩個(gè)關(guān)鍵技術(shù)——頁(yè)面聚類和頁(yè)面分塊技術(shù)，本文進(jìn)行了深入

2、分析和研究，指出了現(xiàn)有方法對(duì)標(biāo)簽的理解基本上都停留在啟發(fā)式規(guī)則的層次上這一問(wèn)題。針對(duì)該問(wèn)題提出了基于統(tǒng)計(jì)信息的標(biāo)簽向量，作為本文的頁(yè)面聚類算法和頁(yè)面分塊算法的技術(shù)基礎(chǔ)。本文取得了以下一些研究成果：
　　1.基于矩陣結(jié)構(gòu)的頁(yè)面聚類算法：即MSPC(MatrixStructureBasedPageClustering)算法。MSPC算法把所有頁(yè)面表示成為統(tǒng)一大小的矩陣，它的時(shí)間復(fù)雜度僅受排序算法的影響。本文不僅從理論上證明了MSPC是

3、個(gè)快速的算法，同時(shí)在實(shí)驗(yàn)中也證明了MSPC算法相較于具有相同復(fù)雜度的頁(yè)面聚類算法具有更好的聚類效果。
　　2.基于統(tǒng)計(jì)信息的頁(yè)面分塊算法：即GSPS(GraphandStatisticBasedPageSegment)算法。GSPS算法摒棄啟發(fā)式和標(biāo)注等一系列有人工參與的半監(jiān)督或全監(jiān)督的方法，結(jié)合標(biāo)簽的統(tǒng)計(jì)信息和圖分割算法(GN算法)實(shí)現(xiàn)無(wú)監(jiān)督的非啟發(fā)式的頁(yè)面分割算法。在實(shí)驗(yàn)中證明GSPS能得到很好的分割效果，從整體上與VIPS算