面向主題的多源Web上結構化數(shù)據(jù)集成的研究與實現(xiàn).pdf

1、隨著Internet的不斷發(fā)展，Web數(shù)據(jù)逐漸成為人們關注的焦點。Web上擁有著大量有價值的數(shù)據(jù)，其中Web源上的結構化數(shù)據(jù)就是其中之一。Web源上的結構化數(shù)據(jù)是指將Web源上的網(wǎng)頁數(shù)據(jù)經(jīng)過特定規(guī)則抽取后存儲到數(shù)據(jù)庫中的數(shù)據(jù)。如何對多個Web源上的結構化數(shù)據(jù)加以整合利用，即對多源Web上的數(shù)據(jù)進行集成，成為被人們廣泛關注的研究領域。然而，Web上的結構化數(shù)據(jù)是Web數(shù)據(jù)的一種，它具有Web數(shù)據(jù)的特點，由于它存儲于數(shù)據(jù)庫中，也具有了數(shù)據(jù)庫

2、中的某些特點，與此同時，它是面向某個領域的，因此也具有了某個領域的數(shù)據(jù)特點，這些特點給其數(shù)據(jù)集成造成了諸多困難，本文研究的就是如何對多個Web源上異構的結構化數(shù)據(jù)進行集成。
　　本文在研究Web數(shù)據(jù)集成的基礎上，針對多源Web上結構化數(shù)據(jù)的特點，提出了一種基于領域知識庫的數(shù)據(jù)集成的實現(xiàn)方法。領域知識庫為領域知識的共享和基于知識的推理提供了基礎。本文的主要工作包括以下幾個方面:
　　首先，針對多源Web上結構化信息的特點，給出

3、了領域知識庫的構建方法并初步建立了核心領域知識庫。以手機領域知識庫為例，在得不到領域專家大力支持的情況下，利用采樣、統(tǒng)計方法獲取相關的核心領域知識;針對多Web源上手機數(shù)據(jù)的語義異構問題，提出了一種基于有序前綴樹聚類的方法，對手機屬性進行聚類，挖掘出領域知識之間的各種關系;在領域知識及其之間的關系基礎上，基于本體的思想和構建方法構建領域知識庫。
　　其次，基于構建的領域知識庫實現(xiàn)了對多個Web源上的結構化數(shù)據(jù)集成。以手機數(shù)據(jù)集成為

4、例，集成過程包括數(shù)據(jù)加載、數(shù)據(jù)預處理、實體識別、合并重復實體和數(shù)據(jù)輸出。在合并重復實體過程中，對要合并的數(shù)據(jù)進行了特殊的分詞與組詞，定義了同義詞與反義詞，改進了相似度比較算法Jaccard系數(shù)法，并提出了兩種合并方法:基于Web數(shù)據(jù)資源的合并方法和基于相似度合并方法。
　　最后，針對Web數(shù)據(jù)的海量性特點，提出了基于MapReduce框架來解決海量Web數(shù)據(jù)集成問題。
　　本文應用上述所提到的技術，實現(xiàn)了一個原型系統(tǒng)，并在原