面向JSON半結(jié)構(gòu)化文檔的聚類技術(shù)研究.pdf

1、互聯(lián)網(wǎng)中半結(jié)構(gòu)化文檔占據(jù)了絕大部分?jǐn)?shù)據(jù)，如何應(yīng)對(duì)半結(jié)構(gòu)化文檔成為了企業(yè)界和學(xué)術(shù)關(guān)注的重點(diǎn)。JSON是一個(gè)典型的半結(jié)構(gòu)化文檔廣泛應(yīng)用于互聯(lián)網(wǎng)中，然而JSON文檔的聚類研究鮮有涉及。本文研究了JSON半結(jié)構(gòu)化文檔的聚類技術(shù)，提出基于混合的K-Means的聚類算法改進(jìn)，并將聚類模型應(yīng)用于政府開放數(shù)據(jù)，最后實(shí)現(xiàn)了聚類系統(tǒng)。論文的主要內(nèi)容有:
　　首先介紹了半結(jié)構(gòu)化文檔的特點(diǎn)，定性和定量分析比較了JSON和XML文檔。然后給出了JSON半結(jié)

2、構(gòu)化文檔的文檔向量表示，考慮了特征降維技術(shù)，提出了混合因子和路徑層級(jí)的假設(shè)，最后給出了基于混合的K-means聚類算法改進(jìn)。隨后本文給出政府開放數(shù)據(jù)的背景以及數(shù)據(jù)集的相關(guān)信息，討論了聚類質(zhì)量評(píng)價(jià)指標(biāo)，包括內(nèi)部和外部質(zhì)量指標(biāo)，然后設(shè)計(jì)了聚類有效性評(píng)價(jià)實(shí)驗(yàn)和類別數(shù)目k的確定實(shí)驗(yàn)。本文實(shí)現(xiàn)了基于JSON半結(jié)構(gòu)化文檔的聚類系統(tǒng)，設(shè)計(jì)了系統(tǒng)流程圖，進(jìn)行了系統(tǒng)模塊設(shè)計(jì)，包括數(shù)據(jù)獲取模塊、預(yù)處理模塊、向量表示模塊和聚類方法模塊，然后提出了頻繁權(quán)重和特

3、異權(quán)重的概念用于系統(tǒng)效果可視化。
　　本文的研究結(jié)論:(1)提出影響文檔區(qū)分能力的兩個(gè)因素:路徑層級(jí)和混合因子，在實(shí)驗(yàn)部分得以驗(yàn)證。(2)通過實(shí)驗(yàn)證明，需要綜合考察兩者對(duì)聚類的效果影響，側(cè)面上驗(yàn)證了單獨(dú)考慮混合因子和路徑層級(jí)是不夠的。(3)在JSON半結(jié)構(gòu)化文檔聚類中，驗(yàn)證了SC指標(biāo)表現(xiàn)優(yōu)于CHI指標(biāo)。(4)開發(fā)并實(shí)現(xiàn)了面向JSON半結(jié)構(gòu)化聚類的原型系統(tǒng)。(5)提出頻繁權(quán)重和特異權(quán)重，從主題和模式兩個(gè)角度展示JSON半結(jié)構(gòu)化文檔的