面向JSON半結(jié)構(gòu)化文檔的聚類技術(shù)研究.pdf

1、互聯(lián)網(wǎng)中半結(jié)構(gòu)化文檔占據(jù)了絕大部分數(shù)據(jù)，如何應(yīng)對半結(jié)構(gòu)化文檔成為了企業(yè)界和學(xué)術(shù)關(guān)注的重點。JSON是一個典型的半結(jié)構(gòu)化文檔廣泛應(yīng)用于互聯(lián)網(wǎng)中，然而JSON文檔的聚類研究鮮有涉及。本文研究了JSON半結(jié)構(gòu)化文檔的聚類技術(shù)，提出基于混合的K-Means的聚類算法改進，并將聚類模型應(yīng)用于政府開放數(shù)據(jù)，最后實現(xiàn)了聚類系統(tǒng)。論文的主要內(nèi)容有:
　　首先介紹了半結(jié)構(gòu)化文檔的特點，定性和定量分析比較了JSON和XML文檔。然后給出了JSON半結(jié)

2、構(gòu)化文檔的文檔向量表示，考慮了特征降維技術(shù)，提出了混合因子和路徑層級的假設(shè)，最后給出了基于混合的K-means聚類算法改進。隨后本文給出政府開放數(shù)據(jù)的背景以及數(shù)據(jù)集的相關(guān)信息，討論了聚類質(zhì)量評價指標，包括內(nèi)部和外部質(zhì)量指標，然后設(shè)計了聚類有效性評價實驗和類別數(shù)目k的確定實驗。本文實現(xiàn)了基于JSON半結(jié)構(gòu)化文檔的聚類系統(tǒng)，設(shè)計了系統(tǒng)流程圖，進行了系統(tǒng)模塊設(shè)計，包括數(shù)據(jù)獲取模塊、預(yù)處理模塊、向量表示模塊和聚類方法模塊，然后提出了頻繁權(quán)重和特

3、異權(quán)重的概念用于系統(tǒng)效果可視化。
　　本文的研究結(jié)論:(1)提出影響文檔區(qū)分能力的兩個因素:路徑層級和混合因子，在實驗部分得以驗證。(2)通過實驗證明，需要綜合考察兩者對聚類的效果影響，側(cè)面上驗證了單獨考慮混合因子和路徑層級是不夠的。(3)在JSON半結(jié)構(gòu)化文檔聚類中，驗證了SC指標表現(xiàn)優(yōu)于CHI指標。(4)開發(fā)并實現(xiàn)了面向JSON半結(jié)構(gòu)化聚類的原型系統(tǒng)。(5)提出頻繁權(quán)重和特異權(quán)重，從主題和模式兩個角度展示JSON半結(jié)構(gòu)化文檔的