面向Web信息集成的Web信息抽取中若干關鍵問題的研究.pdf

1、網(wǎng)絡技術(shù)的迅猛發(fā)展為信息集成技術(shù)帶來了新的問題和挑戰(zhàn)，面對Internet上異質(zhì)、異構(gòu)數(shù)據(jù)的大量涌入，信息集成技術(shù)的研究呈現(xiàn)出前所未有的生命力。Web信息集成系統(tǒng)為Web數(shù)據(jù)管理提供了一種全新的方法，它提供了一個訪問Web上多個數(shù)據(jù)源的、統(tǒng)一的和透明的訪問界面。其主要目標是支持對Web上的多個數(shù)據(jù)源的查詢，滿足用戶的查詢需求。 本文在對Web信息抽取、集成系統(tǒng)研究的現(xiàn)狀和發(fā)展趨勢進行深入分析的基礎上，圍繞其中幾個關鍵問題進行了深

2、入的探討，尤其是針對復雜、海量及非結(jié)構(gòu)化和半結(jié)構(gòu)化文本數(shù)據(jù)類型的特性，從知識發(fā)現(xiàn)內(nèi)在機理研究的角度出發(fā)，形成了Web文本挖掘系統(tǒng)的機構(gòu)模型、算法、應用系統(tǒng)一體化路線。 本文主要的研究成果如下： (一)提出了輕量級包裝器算法。 由于實際使用中的Web信息集成系統(tǒng)大部分為實時系統(tǒng)，目前廣泛使用的WIEN包裝器歸納學習算法為學習包裝器，用戶必須提供若干頁的完整標簽，即用戶必須提供例子頁的各個元組的標注，系統(tǒng)的效率和實用

3、性非常低，特別是當搜索引擎返回大量的信息源后，面向信息集成的系統(tǒng)要求包裝器必須能夠高效率地開展工作。本文基于Web頁面信息的存在信息冗余的特點，通過標記的訓練子例歸納學習包裝器，采用了相同頁面的數(shù)據(jù)子集作為訓練實例，將潛在的學習抽取規(guī)則轉(zhuǎn)變?yōu)樯倭繉嵗?guī)則的抽取學習問題，以完成信息快速抽取的任務。主要目的是研究基于數(shù)據(jù)集成目的的自動高效快速構(gòu)造Web信息源的包裝器的歸納學習系統(tǒng)。該理論應用在實際競爭情報信息系統(tǒng)中證明是有效的，而第二章對此

4、問題做了深入的理論證明。 (二)提出了快速Web信息源權(quán)威值計算方法。 該算法利用Web頁的鏈接的有限拓展獲得相關主題的例子頁面結(jié)合，然后直接構(gòu)造鄰接矩陣并由引用次數(shù)計算Web頁面的權(quán)威值，該算法能夠在對Web頁面進行信息抽取的同時計算得到Web頁面權(quán)威值，由于設計采用了例子頁面查詢拓展，對于Web信息集成中區(qū)別對待不同質(zhì)量信息源起到關鍵的作用。這一算法在保證和PageRank一致的精度下，在相同數(shù)據(jù)集條件下，平均計算時

5、間儀為PageRank算法的8％。 (三)提出了一種面向XML的公共數(shù)據(jù)模型XCDM該模型針對已有的半結(jié)構(gòu)化數(shù)據(jù)源模型在表達XML文檔時存在的缺陷，將OIM有向圖結(jié)構(gòu)與XML語言的相關特性相結(jié)合，并補充了四種代數(shù)操作。該模型充分考慮了XML語法表達的靈活性，可以為用戶提供多級視圖。 (四)提出了一個基于HowNET構(gòu)造出的Ontology的信息抽取、集成模型一個基于概念模型的本體提供了再現(xiàn)知識，存儲信息，并在特定的上下文

6、中給出表示符的機制。這種機制對引導、結(jié)合與解釋信息的原有特征以及為高質(zhì)量的搜索和信息抽取、綜合、分析和簡化起到了杠桿作用。我們的目標就是利用這種基于概念模型的本體，使得查詢、抽取、結(jié)構(gòu)化和綜合等信息變得更加有效和準確。Ontology實現(xiàn)Web信息集成本質(zhì)，在語義層通過HowNET建立共享信息模型，使用Ontology語言對數(shù)據(jù)源給予形式化表示。 針對Internet信息資源的特點和信息檢索系統(tǒng)的現(xiàn)狀，作者在詳細探討和分析了信息