學術主頁信息抽取系統(tǒng)的研究.pdf

1、隨著互聯(lián)網的快速發(fā)展，海量的數(shù)據(jù)以網頁的形式發(fā)布到互聯(lián)網上。傳統(tǒng)的網頁是面向用戶而設計的，人們可以通過瀏覽器可視化的閱讀信息。然而對于機器來說，這些信息是難以理解的，不僅僅是因為其使用自然語言，也因為網頁的表達形式具有隨意性。網頁信息抽取技術是一種對網頁進行深度分析的技術，其主要目的是自動的從非結構化的文檔中抽取出結構化的信息。由于網頁主要使用自然文本描述，因此同樣面臨著同文本信息抽取相似的問題與挑戰(zhàn)。
　　 LineX是一個學

2、術主頁抽取系統(tǒng)，系統(tǒng)能夠自動化的發(fā)現(xiàn)學術個人主頁并從學術主頁上抽取出作者的個人信息和每年發(fā)表文章的信息。抽取結果經過進一步分析被集成到文獻檢索系統(tǒng)中。由于作者主頁在風格和內容上都存在差異，因此基于規(guī)則的抽取方法往往無法取得很好的效果。LineX的核心抽取算法基于機器學習方法，包括支持向量機模型和條件隨機場模型，其中支持向量機主要用來對信息進行分類，而條件隨機場則用來對信息進行字段分割提取。系統(tǒng)首先利用HTML標簽的語義特征將頁面分割成文

3、本單元。然后對文本單元進行分類和字段提取，之后進行裁剪和規(guī)范化映射。在抽取過程中，系統(tǒng)充分利用利用了網頁所提供的額外信息，包括標題，DOM樹，標簽分隔等。此外針對機器學習算法在一些情況下的盲點，使用了啟發(fā)式規(guī)則來進行輔助，提高了整體的抽取效果。
　　 經過對互聯(lián)網的數(shù)據(jù)進行隨機抽樣和測試，結果表明系統(tǒng)對頁面的變化具有較強的適應能力，在各項信息的抽取準確率上都達到的較高的水平。實驗同時說明詞典特征和HTML特征對最終的識別率起到了