面向WEB對象的聚類技術研究.pdf

1、隨著互聯(lián)網(wǎng)和web2.0站點的迅猛發(fā)展，web對象的細粒度聚類技術已經(jīng)成為學術界研究的熱點。然而已有的絕大多數(shù)聚類模型只關注對文本內(nèi)容或文章主題進行聚類，聚類結果粒度較粗，無法滿足大規(guī)模網(wǎng)絡信息檢索的質量要求，并且傳統(tǒng)的聚類模型主要應用于結構化數(shù)據(jù)，無法處理從網(wǎng)絡數(shù)據(jù)源提取的面向web對象的半結構化數(shù)據(jù)。
　　 針對上述挑戰(zhàn)，本文提出了基于詞匯信息分布的特征提取算法和自適應的記錄合并算法，提高聚類結果的細粒度。首先特征提取算法構

2、建一個信息傳遞有向無環(huán)圖，通過挖掘web對象數(shù)據(jù)中特征詞匯的樹狀概率層次關系，利用詞匯在圖中信息分布的集中度提取特征，過濾噪音詞匯，然后利用一階觸發(fā)對挖掘半結構化數(shù)據(jù)中隱含屬性間的關聯(lián)關系，聚集對辨別實體起到關鍵作用的特征組合，根據(jù)分辨web對象的能力，為每個特征詞匯賦予合理的權重，使記錄的特征向量更具代表性；同時自適應的記錄合并模型在產(chǎn)生基本聚類簇的前提下，為重復出現(xiàn)在多個基本聚類簇中的數(shù)據(jù)記錄二次選擇最優(yōu)的目標聚類簇，有效提高目標聚