基于文本挖掘的定向性信息分析研究.pdf

1、隨著網絡技術的應用和普及，越來越多的信息充斥在網絡之上。如何在眾多的資源中找到適合自己需求的信息，成為眾多學者、專家和網絡用戶關心的核心問題之一。如何幫助信息相關主體及時了解、追蹤自身或行業(yè)相關信息及社會評價對其宣傳、決策、發(fā)展及危機管理至關重要。定向性信息分析是解決這一問題的有效方案，定向性信息分析指在挖掘個人用戶或單位用戶長期關注的領域信息或主題信息，針對個人或機構用戶長期關注的興趣點，對互聯網信息進行分析和追蹤，從中篩選出一個與用

2、戶興趣相關的信息子集。本文針對定向性信息分析中的信息選擇、主題分類、文本聚類等問題展開深入研究，提出能夠有效解決這些問題的相應方法和模型，為推動定向性信息分析更好的發(fā)展發(fā)揮積極的作用。
　　 本文通過搜索引擎關鍵字檢索獲取的文檔來源信息，據此利用爬蟲技術得到分析的文檔，根據定向性信息分析任務的特點，對定向性信息分析過程每個階段的技術和相關算法進行了深入研究和探討，并提出一系列有效、適用的模型或算法，最終構建了一個高效、實用的定向

3、性信息分析任務框架。本文重點研究了以下問題:
　　 1、基于搜索引擎返同文本的啟發(fā)式信息抽取模型
　　 檢索返同的結果包含了標題，內容摘要等信息，僅以返同結果為分析對象是遠遠不夠的。為了得到全面的文檔分析要素，本文構建了包含文檔正文、點擊量、發(fā)布時間、引用次數等文檔的XML結構，對如何獲取每個文檔XML結構中的元素給出了具體方法，重點研究了文檔正文的抽取，基于DOM樹結構，在調查統(tǒng)計在基礎上，根據標點符號和鏈接在止文分析

4、中的提示作用，提出布局標簽權重的計算辦法，利用搜索引擎返同摘要確定正文的中心標簽，描述了中心標簽及其權重的聚合過程，將權重最人的標簽作為正文抽取標簽。
　　 2、用戶參與的主題聚類與分類框架
　　 描述了主題分類的困難，針對定向性信息挖掘任務的特點，分析用戶參與主題分類的必要性和可能性，引入文本分類的監(jiān)督特征，提出定向性信息挖掘任務的完整主題聚類、分類框架。
　　 3、基于不確定概率邏輯的文本分類模型
　　

5、 在對文本分類技術進行了較全面的研究基礎上，詳細分析了文本分類的特征，深入討論造成分類器偏差的原因，引入基于不確定概率邏輯的主觀邏輯理論及模型，特征對類別的信任關系作為文本分類的證據，提出基于不確定概率邏輯的文本分類模型。通過觀念空間計算特征的分布權值，并將分布權值作為參數調節(jié)基礎權重得到特征權重，利用特征權重實現簡單的線性分類器。通過在通用分類評測語料集上比較實驗顯示，本文模型相對NB、KNN、LLSF、NNet比照算法性能（分類準

6、確率）有顯著提高，相對SVM，性能相當，但分類速度有明顯提升。模型對不同語料集有較強的適應性，分類器在沒有特征選擇的情況下，仍保持較高的性能。
　　 4、基于文本分類和用戶參與的K-Means聚類模型
　　 沒有任何一種聚類聚類算法可以普遍適用于揭示各種多維數據集所呈現出來的多種多樣的結構，不同的應用可利用的信息來源不盡相同，對聚類質量、效率等方面往往都有特定的要求，岡此要根據應用場合，充分利用相關信息，選擇合適的聚類算

7、法。本文詳細描述和比較了劃分式聚類算法、層次聚類算法、基于密度的聚類算法、基于網格的聚類算法等聚類方法，K-Means聚類模型無論從算法的簡潔性還是效率均顯示較強的生命力，深入討論了K-Means聚類模型的優(yōu)缺點以及改進方法，本文引入文本分類和用戶參與監(jiān)督信息，整合系統(tǒng)自動監(jiān)督與人工監(jiān)督兩方面優(yōu)勢，建立基于文本分類和用戶參與的K-Means聚類模型，有效克服了K-Means聚類初始K值難以確定，易陷入局部最優(yōu)等問題，通過用戶監(jiān)督確認下幾

8、輪迭代，產生了較理想的、人為可控的主題分類結果。
　　 為能使用戶快速了解文檔的主題內容和熱度，本文將文本分類標簽問題為父標簽，并且TFIDF值作為子標簽選取依據，將TFIDF值大的詞語作為備選標簽，引入HowNet詞典網絡，取得概念、范圍較為寬泛的子標簽。借鑒網站傳播影響強度模型，定義本文文檔熱度計算方法。
　　 本文對定向性信息分析任務進行了初步探究，緊密結合相關任務的特點，研究更為有效、適用的模型和算法，為今后深入