模板化Web文檔的主題信息自動抽取方法研究.pdf

1、人類社會的發(fā)展經(jīng)歷了農(nóng)業(yè)社會、工業(yè)社會、信息社會，正朝著智能社會發(fā)展。從某種角度上說，人類社會目前處于由信息社會向智能社會過渡的階段。在這個階段，信息依然是主流，是基礎。人們的學習、生活和工作在很大程度上都依賴于互聯(lián)網(wǎng)上的信息資源。網(wǎng)上的信息資源的載體形式多樣，有文字、音頻、視頻、圖形圖像。但是，目前計算機對信息載體的理解能力還很低，而且計算機對信息載體的分析技術以文字處理較為成熟，語音處理、圖形圖像識別、以及視頻識別都還處于起步階段。

2、另外，人們想在浩瀚的信息海洋中搜集信息，僅僅依靠人工的力量是不可行的，需要借助計算機快速的處理能力。因此，人們搜集信息的方式就主要表現(xiàn)為借助計算機，抽取互聯(lián)網(wǎng)中Web文檔的文本信息。
　　 信息抽取技術為人們搜集信息提供了極大的幫助，從很大程度上使人的角色發(fā)生了轉變，從機械地信息復制者轉變?yōu)橹贫ㄒ?guī)則的決策者。但是，在面向?qū)I(yè)服務網(wǎng)的信息聚焦系統(tǒng)中，由于信息源網(wǎng)站數(shù)量巨大，人工地制定網(wǎng)頁的解析規(guī)則(即信息抽取規(guī)則)是一個既花時間又

3、很枯燥的工作。如何使人和機器優(yōu)勢互補，既發(fā)揮人的決策能力，又發(fā)揮機器的快速處理能力，使信息抽取的準確率和效率更高，這是本文研究的主要內(nèi)容。
　　 本文提出了一個模板化Web文檔的主題信息自動抽取的框架，該框架把主題信息自動抽取邏輯上分成了三個模塊：抽取規(guī)則生成模塊、主題信息抽取模塊、自動反饋監(jiān)測機制模塊。其中最為重要的是抽取規(guī)則生成模塊，它是整個框架的驅(qū)動基礎。論文著重討論了抽取規(guī)則生成模塊的相關算法實現(xiàn)。抽取規(guī)則生成的整個過程

4、分為三個階段：文檔預處理階段、主題區(qū)域定位階段和主題信息精確定位階段。在Web文檔預處理階段，首先利用HTMLParser將Web文檔轉化為DOM樹，再使用無關結點過濾算法，無效結點過濾算法對部分噪音信息進行過濾。在主題區(qū)域定位階段，主要對主題信息所在的區(qū)域塊進行定位，它分為兩個子階段，一是動態(tài)區(qū)域塊定位，由于主題區(qū)域必然是動態(tài)區(qū)域塊，所以首先利用DOM樹匹配算法計算兩個模板化文檔對應的DOM樹最大匹配值，分離出動態(tài)區(qū)域子樹和靜態(tài)區(qū)域子

5、樹，進而實現(xiàn)動態(tài)區(qū)域塊的定位;二是非主題鏈接塊過濾，首先定位出DOM樹的重復區(qū)域，然后通過統(tǒng)計重復區(qū)域鏈接文字和非鏈接文字的個數(shù)過濾非主題鏈接塊。在主題信息精確定位階段，通過分析各個主題信息的多方面的特征制定出對應的啟發(fā)式規(guī)則，根據(jù)啟發(fā)式規(guī)則算法定位主題結點，并獲得主題結點在DOM樹中的路徑作為抽取規(guī)則。
　　 本文最后給出了模板化Web文檔的主題信息自動抽取系統(tǒng)的主界面，同時給出了兩個新聞網(wǎng)站的信息抽取結果。另外，本文用析全率