基于文本挖掘的定向性信息分析研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的應(yīng)用和普及，越來越多的信息充斥在網(wǎng)絡(luò)之上。如何在眾多的資源中找到適合自己需求的信息，成為眾多學(xué)者、專家和網(wǎng)絡(luò)用戶關(guān)心的核心問題之一。如何幫助信息相關(guān)主體及時了解、追蹤自身或行業(yè)相關(guān)信息及社會評價(jià)對其宣傳、決策、發(fā)展及危機(jī)管理至關(guān)重要。定向性信息分析是解決這一問題的有效方案，定向性信息分析指在挖掘個人用戶或單位用戶長期關(guān)注的領(lǐng)域信息或主題信息，針對個人或機(jī)構(gòu)用戶長期關(guān)注的興趣點(diǎn)，對互聯(lián)網(wǎng)信息進(jìn)行分析和追蹤，從中篩選出一個與用

2、戶興趣相關(guān)的信息子集。本文針對定向性信息分析中的信息選擇、主題分類、文本聚類等問題展開深入研究，提出能夠有效解決這些問題的相應(yīng)方法和模型，為推動定向性信息分析更好的發(fā)展發(fā)揮積極的作用。
　　 本文通過搜索引擎關(guān)鍵字檢索獲取的文檔來源信息，據(jù)此利用爬蟲技術(shù)得到分析的文檔，根據(jù)定向性信息分析任務(wù)的特點(diǎn)，對定向性信息分析過程每個階段的技術(shù)和相關(guān)算法進(jìn)行了深入研究和探討，并提出一系列有效、適用的模型或算法，最終構(gòu)建了一個高效、實(shí)用的定向

3、性信息分析任務(wù)框架。本文重點(diǎn)研究了以下問題:
　　 1、基于搜索引擎返同文本的啟發(fā)式信息抽取模型
　　 檢索返同的結(jié)果包含了標(biāo)題，內(nèi)容摘要等信息，僅以返同結(jié)果為分析對象是遠(yuǎn)遠(yuǎn)不夠的。為了得到全面的文檔分析要素，本文構(gòu)建了包含文檔正文、點(diǎn)擊量、發(fā)布時間、引用次數(shù)等文檔的XML結(jié)構(gòu)，對如何獲取每個文檔XML結(jié)構(gòu)中的元素給出了具體方法，重點(diǎn)研究了文檔正文的抽取，基于DOM樹結(jié)構(gòu)，在調(diào)查統(tǒng)計(jì)在基礎(chǔ)上，根據(jù)標(biāo)點(diǎn)符號和鏈接在止文分析

4、中的提示作用，提出布局標(biāo)簽權(quán)重的計(jì)算辦法，利用搜索引擎返同摘要確定正文的中心標(biāo)簽，描述了中心標(biāo)簽及其權(quán)重的聚合過程，將權(quán)重最人的標(biāo)簽作為正文抽取標(biāo)簽。
　　 2、用戶參與的主題聚類與分類框架
　　 描述了主題分類的困難，針對定向性信息挖掘任務(wù)的特點(diǎn)，分析用戶參與主題分類的必要性和可能性，引入文本分類的監(jiān)督特征，提出定向性信息挖掘任務(wù)的完整主題聚類、分類框架。
　　 3、基于不確定概率邏輯的文本分類模型
　　

5、 在對文本分類技術(shù)進(jìn)行了較全面的研究基礎(chǔ)上，詳細(xì)分析了文本分類的特征，深入討論造成分類器偏差的原因，引入基于不確定概率邏輯的主觀邏輯理論及模型，特征對類別的信任關(guān)系作為文本分類的證據(jù)，提出基于不確定概率邏輯的文本分類模型。通過觀念空間計(jì)算特征的分布權(quán)值，并將分布權(quán)值作為參數(shù)調(diào)節(jié)基礎(chǔ)權(quán)重得到特征權(quán)重，利用特征權(quán)重實(shí)現(xiàn)簡單的線性分類器。通過在通用分類評測語料集上比較實(shí)驗(yàn)顯示，本文模型相對NB、KNN、LLSF、NNet比照算法性能（分類準(zhǔn)

6、確率）有顯著提高，相對SVM，性能相當(dāng)，但分類速度有明顯提升。模型對不同語料集有較強(qiáng)的適應(yīng)性，分類器在沒有特征選擇的情況下，仍保持較高的性能。
　　 4、基于文本分類和用戶參與的K-Means聚類模型
　　 沒有任何一種聚類聚類算法可以普遍適用于揭示各種多維數(shù)據(jù)集所呈現(xiàn)出來的多種多樣的結(jié)構(gòu)，不同的應(yīng)用可利用的信息來源不盡相同，對聚類質(zhì)量、效率等方面往往都有特定的要求，岡此要根據(jù)應(yīng)用場合，充分利用相關(guān)信息，選擇合適的聚類算

7、法。本文詳細(xì)描述和比較了劃分式聚類算法、層次聚類算法、基于密度的聚類算法、基于網(wǎng)格的聚類算法等聚類方法，K-Means聚類模型無論從算法的簡潔性還是效率均顯示較強(qiáng)的生命力，深入討論了K-Means聚類模型的優(yōu)缺點(diǎn)以及改進(jìn)方法，本文引入文本分類和用戶參與監(jiān)督信息，整合系統(tǒng)自動監(jiān)督與人工監(jiān)督兩方面優(yōu)勢，建立基于文本分類和用戶參與的K-Means聚類模型，有效克服了K-Means聚類初始K值難以確定，易陷入局部最優(yōu)等問題，通過用戶監(jiān)督確認(rèn)下幾

8、輪迭代，產(chǎn)生了較理想的、人為可控的主題分類結(jié)果。
　　 為能使用戶快速了解文檔的主題內(nèi)容和熱度，本文將文本分類標(biāo)簽問題為父標(biāo)簽，并且TFIDF值作為子標(biāo)簽選取依據(jù)，將TFIDF值大的詞語作為備選標(biāo)簽，引入HowNet詞典網(wǎng)絡(luò)，取得概念、范圍較為寬泛的子標(biāo)簽。借鑒網(wǎng)站傳播影響強(qiáng)度模型，定義本文文檔熱度計(jì)算方法。
　　 本文對定向性信息分析任務(wù)進(jìn)行了初步探究，緊密結(jié)合相關(guān)任務(wù)的特點(diǎn)，研究更為有效、適用的模型和算法，為今后深入