面向實體發(fā)現(xiàn)的網(wǎng)絡信息聚類技術研究與實現(xiàn).pdf

1、隨著信息技術的飛速發(fā)展，網(wǎng)絡信息資源成幾何倍增長，這些信息資源覆蓋了人們生活中的方方面面。但是隨著信息量的與日俱增，用戶對查找目標信息深度需求顯得十分迫切。由于大部分網(wǎng)頁的標題和正文中包含大量的實體信息，可以很好地表示所在網(wǎng)頁的內容。利用聚類技術對檢索結果進行聚類，從而發(fā)現(xiàn)檢索目標的相關實體及屬性信息顯得尤為重要。目前流行的聚類算法能夠將相關度高的頁面進行有效的分類，但是都沒有考慮利用網(wǎng)絡中的實體信息能夠有效地對網(wǎng)頁進行分類并引導用戶的

2、檢索行為。
　　針對以上問題本文依據(jù)課題面向實體發(fā)現(xiàn)的網(wǎng)絡信息聚類技術開展研究，結合迭代搜索系統(tǒng)對網(wǎng)絡信息中的實體進行發(fā)現(xiàn)。圍繞如何通過聚類技術對網(wǎng)頁文本進行有效的聚類，進而得到與目標實體相關的實體信息。本文的主要工作如下：
　?。?）在對網(wǎng)頁文本進行表示時，由于網(wǎng)頁文本標題和正文中的實體詞是對網(wǎng)頁內容的高度概括，因而，本文在計算特征項權重時，引入實體因子，結合詞性增加網(wǎng)頁文本中實體詞的權重，提高聚類精度。
　　（2）

3、利用Single-pass聚類算法對于文本聚類的判定，需要人工設定一個閾值，而這個閾值在實際操作中很難把握。因此，本文提出一個自適應閾值 SPT(Single-pass-Threshold)聚類算法。此算法分兩步，第一步按照文本輸入的順序計算相鄰文本的相似度為數(shù)據(jù)樣本，通過最小類內方差算法窮盡樣本內的數(shù)據(jù)，計算確定對此樣本聚類所需的自適應閾值。第二步，采用 Single-pass算法按照相同的順序對文本進行聚類，得到最終的聚類結果。

4、r>　?。?）基于自適應閾值SPT算法引入實體因子的設計實現(xiàn)了一種高效的文本聚類算法，并通過二組實驗驗證本文方法的有效性。第一組實驗通過窮舉測試驗證了自適應閾值選取的有效性。第二組實驗通過對不同領域和同一領域的網(wǎng)頁文本進行處理，驗證SP T算法處理網(wǎng)頁文本的性能。經(jīng)實驗驗證SP T算法的準確率、召回率和F值要明顯優(yōu)于原算法。
　?。?）采用本文技術實現(xiàn)了面向實體發(fā)現(xiàn)的迭代搜索原型系統(tǒng)的聚類模塊。通過該聚類模塊，將實體相關的文本聚合