云環(huán)境下數(shù)據(jù)融合技術(shù)的應(yīng)用與研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，特別是因特網(wǎng)，導(dǎo)致非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)的數(shù)量與日俱增。其中IDC的調(diào)查報告表明：企業(yè)中非結(jié)構(gòu)化數(shù)據(jù)的數(shù)量占百分之八十，并且每年按指數(shù)增長百分之六十。如果說企業(yè)中的結(jié)構(gòu)化數(shù)據(jù)對企業(yè)的發(fā)展與交易活動進(jìn)行了細(xì)致的記錄和直觀的體現(xiàn)，那么非結(jié)構(gòu)化數(shù)據(jù)則是深藏企業(yè)發(fā)展的關(guān)鍵命脈與提高企業(yè)競爭力的方法。因此為了使企業(yè)快速穩(wěn)步的發(fā)展提高企業(yè)核心競爭力，對非結(jié)構(gòu)化數(shù)據(jù)的研究迫在眉睫。同時，面對云中大量的非結(jié)構(gòu)化數(shù)據(jù)，企業(yè)希望通過

2、大數(shù)據(jù)分析與預(yù)測平臺找到一種合適的、適應(yīng)企業(yè)發(fā)展的數(shù)據(jù)處理模式，為以后企業(yè)進(jìn)行數(shù)據(jù)決策提供數(shù)據(jù)保證。然而這一切的前提就是數(shù)據(jù)融合，通過數(shù)據(jù)融合能極大提高數(shù)據(jù)質(zhì)量，為后期的數(shù)據(jù)分析與挖掘打下堅實基礎(chǔ)。
　　由于非結(jié)構(gòu)化數(shù)據(jù)具有表現(xiàn)形式多樣、割裂、無法進(jìn)行數(shù)據(jù)互操作等特點，導(dǎo)致數(shù)據(jù)融合研究中存在如下問題亟待解決：（1）不同數(shù)據(jù)源之間對數(shù)據(jù)的描述存有差異。這些差異主要有描述屬性的順序各不相同，在同一屬性上有拼寫錯誤，以及在描述數(shù)據(jù)時對屬

3、性的選取也不盡相同。（2）由于數(shù)據(jù)信息的不完整性、過時、錯誤、虛假等沖突情況，為了保證分析數(shù)據(jù)的準(zhǔn)確性，數(shù)據(jù)融合需要進(jìn)行對多數(shù)據(jù)源數(shù)據(jù)的沖突解決。
　　數(shù)據(jù)融合可以提高數(shù)據(jù)質(zhì)量，為企業(yè)后期進(jìn)行數(shù)據(jù)分析與數(shù)據(jù)挖掘提供了數(shù)據(jù)保證，本文針對上述數(shù)據(jù)融合面臨的若干關(guān)鍵問題展開研究，主要工作和貢獻(xiàn)可概括為以下幾個方面：
　?。?）對實體描述屬性缺失以及變體多現(xiàn)象，提出了Hadoop框架下基于學(xué)習(xí)的實體統(tǒng)一方法，提高了數(shù)據(jù)實體統(tǒng)一的效率

4、與準(zhǔn)確性。
　　文中采用機器學(xué)習(xí)方法，把實體統(tǒng)一問題看作一個分類問題，其中每一對實體被定義為匹配或不匹配。通過對做了標(biāo)記的實體對進(jìn)行學(xué)習(xí)得到合適的分類器，然后這些成對的相似度值會為分類操作提供特征值，分類器則將匹配或不匹配的結(jié)果返回來。對于每一個匹配器，所有輸入的實體對都需要被利用起來，一般來說，實體統(tǒng)一是要處理數(shù)據(jù)源R和S的笛卡爾積。因此為徹底解決上述中出現(xiàn)的問題減少分類器在訓(xùn)練和應(yīng)用中花費的時間，我們基于MapReduce這一

5、成熟的編程模型在云平上進(jìn)行成對相似度的計算。
　?。?）針對不同實體表象所提供的實體信息存在過時、矛盾、不完整、錯誤等問題，文中提出了一種MapReduce框架下基于貝葉斯的數(shù)據(jù)沖突解決方法，可以有效的解決數(shù)據(jù)融合時的數(shù)據(jù)沖突。
　　本文通過貝葉斯推理模型對數(shù)據(jù)源質(zhì)量進(jìn)行評估，然后結(jié)合有效的機器學(xué)習(xí)策略，并通過MapReduce這一編程模型進(jìn)行實現(xiàn)，兼顧了機器學(xué)習(xí)的有效性與MapReduce的高效性。在數(shù)據(jù)集上的實驗結(jié)果表明