基于中間知識庫的可繼承聚類研究.pdf

1、數(shù)據(jù)挖掘是當今研究熱點，它是從大量的、不完全的、有噪聲的實際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、事先未知的、但又潛在有用的知識的過程。 隨著技術(shù)的進步，數(shù)據(jù)挖掘的對象發(fā)生很大變化，已由靜態(tài)數(shù)據(jù)集變化為動態(tài)數(shù)據(jù)流，本文研究對象正是這種大規(guī)模連續(xù)動態(tài)環(huán)境，其數(shù)據(jù)通常是GB級甚至是TB級的，數(shù)據(jù)按照一定的規(guī)律不斷更新。在這種環(huán)境中，已有的知識發(fā)現(xiàn)方法面臨新的問題，主要體現(xiàn)在以下幾點：(1)數(shù)據(jù)挖掘效率不高。(2)處理能力跟不上。面對大規(guī)模數(shù)

2、據(jù)，囿于原有挖掘模型，很多傳統(tǒng)算法根本無法處理。(3)無法滿足實時更新的需求。數(shù)據(jù)是動態(tài)的，而且頻繁更新，因此挖掘過程需要不斷進行，來跟蹤數(shù)據(jù)的變化。而傳統(tǒng)算法無法實現(xiàn)快速更新，滿足這種實時需求。 針對上述困難，圍繞聚類問題，本文采用可繼承的觀點來處理大規(guī)模動態(tài)環(huán)境的數(shù)據(jù)聚類分析，不僅采用內(nèi)存中的增量繼承方式，而且把挖掘過程中有價值的知識固化為外存的永久繼承，實現(xiàn)知識產(chǎn)生知識，從而提供快速靈活查詢。主要工作包括： (1)

3、提出知識發(fā)現(xiàn)中可繼承問題，給出其中關(guān)鍵定義：進化基、進化沖量、進化操作、繼承度和繼承靈活性，并以此為基礎(chǔ)，把可繼承問題進行分類，給出不同類型可繼承的研究方向和重點。分析了傳統(tǒng)Fayyad模型、強度挖掘模型和簡單增量模型對處理大規(guī)模連續(xù)動態(tài)環(huán)境的不適應(yīng)性，剖析傳統(tǒng)挖掘過程中挖掘算法的參數(shù)依賴，提出基于中間知識庫的可繼承聚類模型并給出其中中間知識的定義，界定其可加減性、等價性、濃縮性。 (2)給出聚類中間知識的設(shè)計：EDS(Exte

4、ndedDataSummary)和ECF(ExtendedClusteringFeature)，給出他們的統(tǒng)計學(xué)基礎(chǔ)，分析其加減性、壓縮性和時空代價，說明其合理性和對可繼承聚類模型的適用性；給出三種中間知識獲取方法：1)基于距離的方法，根據(jù)每個單元簇的均方根半徑判斷新加入的點的歸屬2)基于網(wǎng)格的方法，采用動態(tài)的網(wǎng)格來獲取中間知識，針對網(wǎng)格的稀疏特性，使用哈希技術(shù)來定位每個項目。3)動態(tài)自組織特征影射方法。根據(jù)計數(shù)器變量并引入累積誤差，來

5、決定神經(jīng)元的增加與刪除，從而更好的適應(yīng)動態(tài)環(huán)境。 (3)給出外存中中間知識元數(shù)據(jù)、時間索引、中間知識庫、中間知識表的結(jié)構(gòu)定義，采用擴展的BNF語法給出中間知識結(jié)構(gòu)化模式查詢語言IKMQL，進行中間知識的管理和查詢。在分析時間粒度的基礎(chǔ)上，給出三種中間知識保存方法，分別計算其時效誤差，分析和證明了每種方法在中間知識保存過程中的存儲容量和查詢精度。 (4)設(shè)計了基于中間知識庫的劃分聚類方法，給出中心變化時的聚類質(zhì)量變化公式；

6、在層次算法中，給出相異度矩陣的遞推公式，并改進其合并策略以提高效率；在基于密度的算法中，給出同質(zhì)密度和密度相連的定義，以發(fā)現(xiàn)不同密度層次的聚類；在基于模型的算法中，把標準方差插入到密度函數(shù)，給出單元簇成員在M步中發(fā)生的簡化公式。在基于窗口操作的算法中，本文給出窗口相減操作過程。 (5)開發(fā)原型系統(tǒng)，驗證中間知識獲取、存儲和維護方法以及本文提出的運行于其上的各類算法的正確性和效率，分別跟采樣以及傳統(tǒng)算法作對比，證明了本文提出聚類模