面向主題的多源Web上結(jié)構(gòu)化數(shù)據(jù)集成的研究與實(shí)現(xiàn).pdf

1、隨著Internet的不斷發(fā)展，Web數(shù)據(jù)逐漸成為人們關(guān)注的焦點(diǎn)。Web上擁有著大量有價(jià)值的數(shù)據(jù)，其中Web源上的結(jié)構(gòu)化數(shù)據(jù)就是其中之一。Web源上的結(jié)構(gòu)化數(shù)據(jù)是指將Web源上的網(wǎng)頁(yè)數(shù)據(jù)經(jīng)過(guò)特定規(guī)則抽取后存儲(chǔ)到數(shù)據(jù)庫(kù)中的數(shù)據(jù)。如何對(duì)多個(gè)Web源上的結(jié)構(gòu)化數(shù)據(jù)加以整合利用，即對(duì)多源Web上的數(shù)據(jù)進(jìn)行集成，成為被人們廣泛關(guān)注的研究領(lǐng)域。然而，Web上的結(jié)構(gòu)化數(shù)據(jù)是Web數(shù)據(jù)的一種，它具有Web數(shù)據(jù)的特點(diǎn)，由于它存儲(chǔ)于數(shù)據(jù)庫(kù)中，也具有了數(shù)據(jù)庫(kù)

2、中的某些特點(diǎn)，與此同時(shí)，它是面向某個(gè)領(lǐng)域的，因此也具有了某個(gè)領(lǐng)域的數(shù)據(jù)特點(diǎn)，這些特點(diǎn)給其數(shù)據(jù)集成造成了諸多困難，本文研究的就是如何對(duì)多個(gè)Web源上異構(gòu)的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行集成。
　　本文在研究Web數(shù)據(jù)集成的基礎(chǔ)上，針對(duì)多源Web上結(jié)構(gòu)化數(shù)據(jù)的特點(diǎn)，提出了一種基于領(lǐng)域知識(shí)庫(kù)的數(shù)據(jù)集成的實(shí)現(xiàn)方法。領(lǐng)域知識(shí)庫(kù)為領(lǐng)域知識(shí)的共享和基于知識(shí)的推理提供了基礎(chǔ)。本文的主要工作包括以下幾個(gè)方面:
　　首先，針對(duì)多源Web上結(jié)構(gòu)化信息的特點(diǎn)，給出

3、了領(lǐng)域知識(shí)庫(kù)的構(gòu)建方法并初步建立了核心領(lǐng)域知識(shí)庫(kù)。以手機(jī)領(lǐng)域知識(shí)庫(kù)為例，在得不到領(lǐng)域?qū)＜掖罅χС值那闆r下，利用采樣、統(tǒng)計(jì)方法獲取相關(guān)的核心領(lǐng)域知識(shí);針對(duì)多Web源上手機(jī)數(shù)據(jù)的語(yǔ)義異構(gòu)問(wèn)題，提出了一種基于有序前綴樹聚類的方法，對(duì)手機(jī)屬性進(jìn)行聚類，挖掘出領(lǐng)域知識(shí)之間的各種關(guān)系;在領(lǐng)域知識(shí)及其之間的關(guān)系基礎(chǔ)上，基于本體的思想和構(gòu)建方法構(gòu)建領(lǐng)域知識(shí)庫(kù)。
　　其次，基于構(gòu)建的領(lǐng)域知識(shí)庫(kù)實(shí)現(xiàn)了對(duì)多個(gè)Web源上的結(jié)構(gòu)化數(shù)據(jù)集成。以手機(jī)數(shù)據(jù)集成為

4、例，集成過(guò)程包括數(shù)據(jù)加載、數(shù)據(jù)預(yù)處理、實(shí)體識(shí)別、合并重復(fù)實(shí)體和數(shù)據(jù)輸出。在合并重復(fù)實(shí)體過(guò)程中，對(duì)要合并的數(shù)據(jù)進(jìn)行了特殊的分詞與組詞，定義了同義詞與反義詞，改進(jìn)了相似度比較算法Jaccard系數(shù)法，并提出了兩種合并方法:基于Web數(shù)據(jù)資源的合并方法和基于相似度合并方法。
　　最后，針對(duì)Web數(shù)據(jù)的海量性特點(diǎn)，提出了基于MapReduce框架來(lái)解決海量Web數(shù)據(jù)集成問(wèn)題。
　　本文應(yīng)用上述所提到的技術(shù)，實(shí)現(xiàn)了一個(gè)原型系統(tǒng)，并在原