XML關鍵字過濾技術.pdf

1、XML是網絡數據存儲和交換的一種重要標準。在RSS等新型網絡應用中，使用XML作為數據表示語言，用戶通過關鍵字來表達查詢需求，應用系統(tǒng)獲取符合用戶查詢的XML數據片段，作為結果返回給用戶。然而網絡上的數據日益膨脹，如何從海量的數據流中，過濾有價值的信息片段，不僅具有研究價值，而且具有重要的應用價值。
　　 本文從確定XML、概率XML兩個方面，重點研究了基于SLCA(Smallest Low-est Common Ancesto

2、r)關鍵字過濾的效率問題和模型問題。在確定XML環(huán)境下，以往針對靜態(tài)XML數據建立中心索引進行的關鍵字檢索不適用于XML關鍵字過濾。針對過濾場景下XML數據的特點構造一遍掃描的算法有效實現關鍵字檢索是本文的研究內容之一。本文使用MapReduce分布式計算技術，解決數據膨脹導致的關鍵字過濾的效率問題。對于概率XML，以往的研究關注于IND(independent)和MUX(mutuallyexclusive)關系的探討，忽略了兄弟結點間

3、存在的其他依賴關系。對具有廣泛兄弟結點依賴關系的概率XML的建模和關鍵字過濾也是本文的研究內容之一。
　　 本文的主要貢獻有：
　　 ·給出概率XML中SLCA結點的定義。定義孩子結點傳遞給父親結點的信息tab，給出了tab信息上的點積、加法、笛卡爾積運算，實現概率XML模型PrXML{ind，mux}租PrXML{exp，ind，mux)中基于SLCA的關鍵字過濾。較同類模型PrXML{ind，mux}上的關鍵字檢索，

4、本文使用的方法效率更高。
　　 ·構建基于貝葉斯網的概率XML模型PrXML-BN。定義從概率XML文檔到貝葉斯網的映射方法，將SLCA語義引入貝葉斯網，完成基于SLCA的概率XML關鍵字過濾。采用圖結點約減和結果緩存的方法，提高系統(tǒng)過濾效率。
　　 ·針對確定XML關鍵字過濾問題，提出了一種高效的SLCA計算服務。它不需要事先構建索引，不依賴于任何結點編碼方式，單遍掃描數據就可以得到SLCA結點，避免了以往SLCA檢索

5、方法冗余的中間結果，具有較高的關鍵字過濾效率。
　　 ·用分布式系統(tǒng)解決大數據量確定XML關鍵字過濾的效率問題。利用Hadoop平臺，將任務的分解轉化為數據的分解，解決XML關鍵字檢索的大數據量問題。為了避免Hadoop平臺將結構緊密的XML數據任意透明劃分，本文給出大型原生XML文檔的拆分策略及一整套XML數據的分布式計算方法。
　　 本文對過濾場景下XML的關鍵字過濾技術進行了系統(tǒng)的研究，定義概率XML中的SLCA結