基于短語特征的Web文檔聚類方法研究.pdf

1、經(jīng)過幾十年的發(fā)展,Internet已經(jīng)成為世界上最大的資源庫,其絕大部分信息都是以Web文本的形式存在。為了充分利用這些資源、使用戶準確地找到需要的資料、節(jié)約搜索時間、提高利用價值,出現(xiàn)了Web數(shù)據(jù)挖掘技術。利用分類、聚類、關聯(lián)分析、趨勢預測等技術從Web文本中發(fā)現(xiàn)和抽取用戶感興趣的有用模式和隱藏的信息。
　　 Web文檔聚類是Web文本挖掘的一個重要研究分支,作為一種無監(jiān)督的學習方法,不需要訓練過程,也不需要預先對文檔進行手工

2、標注,具有一定的靈活性和較高的自動化處理能力,能夠?qū)ξ臋n進行有效組織、獲取摘要和導航?？梢栽谝欢ǔ潭壬辖鉀Q信息雜亂和信息爆炸的問題。作為信息檢索、信息過濾、搜索引擎、數(shù)字圖書館等領域的技術基礎,Web文檔聚類有著廣闊的應用前景。
　　 本文闡述了Web文檔聚類的基本概念、方法、研究現(xiàn)狀及存在的問題。從文檔聚類分析過程角度介紹了Web文檔聚類的相關理論和技術,包括文檔數(shù)據(jù)表示模型、相似度測量、聚類算法、聚類結果評價指標和聚類算法分

3、析等。提出了三個以短語特征為基礎的聚類方法。
　　 ①對于半結構化的Web文檔,HTML標簽標識出了文檔的結構和不同部分的重要程度。針對這個特點,本文提出了用于Web文檔聚類的加權后綴樹聚類算法WSTC本算法依據(jù)HTML標簽把文檔劃分成具備不同重要性等級的段、段劃分成句子,用句子構造文檔集的加權廣義后綴樹模型,句子的重要性等級作為結構權值融入后綴樹的節(jié)點中?；谖臋n間共享短語的識別,選擇節(jié)點作為基類簇和合并基類簇。在此過程中,綜

4、合考慮節(jié)點包含的文檔數(shù)、句子數(shù)、短語長度和節(jié)點的重要性等級。實驗結果表明結合Web文檔特點的聚類算法WSTC提高了聚類質(zhì)量。
　　 ②Web文檔集的加權廣義后綴樹模型創(chuàng)立后,每個節(jié)點代表了一個短語,可以作為文檔的一個特征。利用這個特點,本文提出了一種集成加權廣義后綴樹模型和向量空間模型的混合模型WSTVSM用于Web文檔聚類。首先構造Web文檔集的加權廣義后綴樹模型。然后,把后綴樹的節(jié)點代表的加權短語及其權值映射到M維向量空間模

5、型,擴展TF-IDF特征計算方案計算基于加權短語的文檔向量的特征值,形成混合模型WSTVSM。在此模型上計算基于加權短語的文檔相似度,利用組平均層次凝聚聚類算法進行聚類,取得了較好的效果。
　　 ③一般地,劃分型聚類算法,如K-means算法,時間復雜度低、聚類速度快,但是穩(wěn)定性較差。本文在分析K-means聚類算法的基本問題后,提出了用WSTC算法改進其初始聚類中心的混合聚類算法STK-means。首先,構建Web文檔集的加權