基于加權異構信息網(wǎng)絡的多維文本數(shù)據(jù)分析技術研究.pdf

1、在一個信息爆炸的時代，如何在含有大量文本的數(shù)據(jù)中，準確把握脈絡和重點，快速的獲得有用的信息，并且合理的管理和使用這些信息，進而實現(xiàn)對數(shù)據(jù)體系更準確的判斷和預測，已經(jīng)成為當今亟待解決的問題。在不同種類的數(shù)據(jù)形式中，本文針對一種特定的含有文本的數(shù)據(jù)，即多維文本數(shù)據(jù)，開展研究。
　　多維文本數(shù)據(jù)在商業(yè)、科學等領域都廣泛存在，其數(shù)據(jù)實體既包含多維結構化數(shù)據(jù)，也包含描述性文本數(shù)據(jù)，大多數(shù)情況下，描述性文本數(shù)據(jù)中蘊含了很多重要信息。信息網(wǎng)絡是

2、我們分析研究中經(jīng)常使用的模型工具，韓家煒等人開創(chuàng)性的提出可以利用信息網(wǎng)絡分析方法，從數(shù)據(jù)庫中發(fā)現(xiàn)知識。
　　近年來，對于多維文本數(shù)據(jù)的研究大多在分類和聚類、情感分析、意見挖掘等方面，而新興的信息網(wǎng)絡分析方法的研究主要針對不含有文本屬性的信息處理方面。目前這兩類研究已經(jīng)各自形成了較為系統(tǒng)的研究體系，并積累了一定的研究成果，而我們的研究是嘗試推動兩者交匯融合，改變以往屬性數(shù)據(jù)和文本數(shù)據(jù)各自分別分析的不足。信息網(wǎng)絡分析方法，分析的不僅僅

3、是單一的實體節(jié)點，還包括節(jié)點間的相互聯(lián)系，以及節(jié)點所蘊含的信息內(nèi)容。本文中的信息網(wǎng)絡，即是將具有文本內(nèi)容、相互之間又具有聯(lián)系的數(shù)據(jù)實體，抽象為圖結構，以節(jié)點表示實體，以節(jié)點之間的邊來表達實體之間的關聯(lián)。利用信息網(wǎng)絡分析方法對多維文本數(shù)據(jù)中的結構化屬性數(shù)據(jù)和非結構化文本數(shù)據(jù)進行綜合分析，互相促進，充分利用含有文本內(nèi)容的多維文本數(shù)據(jù)的全部信息，為多維文本數(shù)據(jù)分析技術探索有效的分析手段。
　　構建文本特征維度是對多維文本數(shù)據(jù)進行分析的重

4、要基礎和研究方法。文本特征維度，是指可以將文本文檔集合映射成樹節(jié)點，每個節(jié)點代表一個分類，特征維度樹的根節(jié)點代表全體文檔集合，每一層的節(jié)點代表相應的小類集合，使文本數(shù)據(jù)有維度層次的性質(zhì)。本文探索如何利用信息網(wǎng)絡分析方法在多維文本數(shù)據(jù)中自動構建文本特征維度，提高分析結果的可讀性。
　　一個有維度的文本數(shù)據(jù)集可以進行鉆取、切片等OLAP操作，本文基于信息網(wǎng)絡分析方法對多維文本數(shù)據(jù)集進行多社團發(fā)現(xiàn)并生成了特征維度樹，提出了一種新的基于加

5、權異構信息網(wǎng)絡多社團發(fā)現(xiàn)的維度生成方法，將維映射為文本特征維，層映射為每次迭代計算生成的加權異構信息網(wǎng)絡，度量映射為集合的特征短語。本文所作的工作如下:
　　1.探索多維文本數(shù)據(jù)有效分析和建立文本特征維度的方法
　　提出一種基于加權異構信息網(wǎng)絡多社團發(fā)現(xiàn)的維度生成方法。與TopicCube、MCX等單一文本數(shù)據(jù)分析方法等相比，本文的維度生成方法利用了信息網(wǎng)絡分析方法來進行結構化屬性類數(shù)據(jù)、非結構化文本類數(shù)據(jù)的綜合分析，使用特

6、征短語做度量，實現(xiàn)了生成非結構化文本類數(shù)據(jù)的文本特征維度，使得維度結果簡單直觀。通過實驗驗證該方法具有良好的發(fā)現(xiàn)效果。
　　2.提出加權異構信息網(wǎng)絡模型的構建方法
　　提出一種基于關聯(lián)路徑的信息網(wǎng)絡構建方法。針對難以進行更精細分析的文本對象時，尋找密切關聯(lián)的新屬性對象代表原文本對象進行分析，基于新舊對象關聯(lián)共生的屬性，對新對象的分析就是對原文本對象的進一步分析，達成創(chuàng)造新的證據(jù)支持對原文本對象進行分析的目的。提出的加權異構信

7、息網(wǎng)絡構建算法，將文本對象用向量空間模型表示，根據(jù)文檔中特征短語出現(xiàn)的位置和詞頻，計算所有文檔之間的內(nèi)容相似度，構造文檔-文檔的關聯(lián)邊;根據(jù)作者之間的合作路徑關系，修正計算所有文檔之間的相似度;用文檔間相似度的評價修正作者間相似度的權重，迭代計算同類節(jié)點間的權重，根據(jù)所有節(jié)點間關聯(lián)邊構造出加權異構信息網(wǎng)絡。
　　3.提出加權異構信息網(wǎng)絡的按粒度進行多社團發(fā)現(xiàn)的維度生成算法
　　提出一種針對加權異構信息網(wǎng)絡的按粒度進行多社團發(fā)