Web數據集成中有價值事件識別研究.pdf

1、隨著互聯網技術的飛速發(fā)展，Web成為巨大的信息源，擁有海量數據，同時Web具有開放性、交互性、便捷性的特點，已成為人們獲取信息的重要平臺。如何準確、有效地從Web中獲取所需信息，對信息進一步分析和挖掘，對諸如市場情報分析、商業(yè)智能等分析型應用尤為重要。
　　相對于傳統數據集成中結構化數據，Web網頁包含大量無結構數據，其中在特定時間、地點發(fā)生，由特定參與者參加的活動語句稱為事件。識別網頁中有價值事件，即識別出分散在大量網頁中的事件

2、信息并關聯事件的價值數據，為市場情報分析等應用提供數據支持。
　　Web網頁的新聞報道中蘊含大量事件，為用戶提供及時、廣泛的信息，但報道這些事件的描述語句陳述角度各異，表達方式隨意，難以識別是否指向同一事件。網頁報道中對同一事件的不同描述語句稱為事件表象。在Web大量網頁中，通過聚合事件表象發(fā)現其共同所指的事件，利用共指同一事件的表象間互相印證和補充的信息對事件有一個較全面、準確的認識。另外，分析事件主題，集成事件主題熱度信息，從

3、不同層面識別有價值事件。識別出的有價值事件，數據較豐富和準確，而且集成了事件主題等不同層面的價值信息，可以為市場情報分析等應用提供支持，也是進一步進行數據分析和挖掘的基礎。
　　Web有價值事件識別已經成為當前的熱點研究問題之一，由于Web事件具有海量、無結構、描述隨意和聯系豐富等特點，有價值事件識別不僅進行Web事件發(fā)現，還要集成事件價值信息，研究中仍然存在以下問題有待解決。(1)同一事件網絡中有不同的新聞報道，報道該事件的事件

4、表象語句因描述角度不同，存在較大差異。這些事件表象分布于大量網頁中，如何從網頁中快速、準確的發(fā)現重復事件表象，聚合指向同一事件的表象，是需要研究的問題;(2)事件表象從不同角度描述事件，如何充分利用表象間相互印證和補充信息，將形式各異的共指事件表象統一成一條表象，保證合并后的事件表象具有較準確和豐富的數據，是需要解決的問題;(3)Web不同事件可以擁有共同主題，如何準確發(fā)現不同事件的主題，分析主題詞熱度，從主題層面識別有價值事件，是需要

5、解決的問題。
　　本文以Web數據集成為目標，針對Web有價值事件識別中存在的以上問題展開研究，本文的貢獻主要包括以下三個方面:
　　(1)提出一種基于維度匹配和共現約束的重復事件表象發(fā)現方法。使用事件的8維度表示形式，提出使用網頁事件表象共現約束減少事件表象的匹配次數，能夠準確、高效的發(fā)現網頁中重復事件表象。
　　本文提出一種基于維度匹配和共現約束的重復事件表象發(fā)現方法，事件使用{agent，activity,obj

6、ect，time，location，cause，purpose，manner}8個維度表示，賦予事件一定的結構特性。針對不同維度內容使用不同匹配器分別匹配，使用擴展證據理論模型綜合維度匹配結果。針對大規(guī)模網頁重復事件表象的發(fā)現，提出網頁事件表象共現約束，減少網頁間事件表象匹配次數。實驗結果表明，該方法能夠準確聚合大量共指同一事件的重復事件表象，并且減少事件表象間匹配次數，有效降低了網頁重復事件表象發(fā)現的時間，提高了重復事件表象發(fā)現的效率

7、。
　　(2)針對指向同一事件的Web事件表象形式多樣，提出一種通過維度內容重組的事件表象統一方法，選取大量重復事件表象中較準確和詳細的維度內容并組合到一條事件表象中，反映現實事件。
　　本文提出一種通過維度內容重組的事件表象統一方法，提出使用Markov邏輯網結合多種一階邏輯規(guī)則綜合判斷，選擇事件表象中較完整、準確的維度內容。組合分散在多個事件表象中較準確詳細的維度內容到一條事件表象中。實驗結果表明，該方法能夠有效選擇較完

8、整、準確的維度內容，事件表象統一有較高的準確率。
　　(3)針對不同事件可以擁有共同主題，提出一種基于主題特征聚類和擴展LDA模型的事件主題分析方法。分析事件的主題詞和主題詞熱度，從主題層面識別有價值事件。
　　本文提出一種擴展LDA模型DLDA，在LDA模型中集成事件的維度信息，避免在主題無關的事件維度上分配主題概率（如時間、地點等維度內容），選取主題特征維度。根據選取的主題特征維度內容聚類，準確識別事件主題。提出一種主題