面向信息抽取的Web頁面結構挖掘技術研究.pdf

1、信息抽取是解決從海量Web頁面中提取有價值的信息和知識的重要技術手段，而頁面結構特征的挖掘和提取是信息抽取過程的關鍵步驟。然而，已有的頁面結構挖掘方法大多數依賴于啟發(fā)式規(guī)則和人工標注，這對于海量、異構的Web頁面來說，不管是效率還是可擴展性都難以滿足實際應用的要求。因此，信息抽取應用的發(fā)展迫切要求更智能化、自動化的頁面結構挖掘技術。
　　基于以上背景，針對Web頁面結構挖掘中的兩個關鍵技術——頁面聚類和頁面分塊技術，本文進行了深入

2、分析和研究，指出了現有方法對標簽的理解基本上都停留在啟發(fā)式規(guī)則的層次上這一問題。針對該問題提出了基于統計信息的標簽向量，作為本文的頁面聚類算法和頁面分塊算法的技術基礎。本文取得了以下一些研究成果：
　　1.基于矩陣結構的頁面聚類算法：即MSPC(MatrixStructureBasedPageClustering)算法。MSPC算法把所有頁面表示成為統一大小的矩陣，它的時間復雜度僅受排序算法的影響。本文不僅從理論上證明了MSPC是

3、個快速的算法，同時在實驗中也證明了MSPC算法相較于具有相同復雜度的頁面聚類算法具有更好的聚類效果。
　　2.基于統計信息的頁面分塊算法：即GSPS(GraphandStatisticBasedPageSegment)算法。GSPS算法摒棄啟發(fā)式和標注等一系列有人工參與的半監(jiān)督或全監(jiān)督的方法，結合標簽的統計信息和圖分割算法(GN算法)實現無監(jiān)督的非啟發(fā)式的頁面分割算法。在實驗中證明GSPS能得到很好的分割效果，從整體上與VIPS算