基于中間知識(shí)庫(kù)的可繼承聚類(lèi)研究.pdf

1、數(shù)據(jù)挖掘是當(dāng)今研究熱點(diǎn)，它是從大量的、不完全的、有噪聲的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、事先未知的、但又潛在有用的知識(shí)的過(guò)程。 隨著技術(shù)的進(jìn)步，數(shù)據(jù)挖掘的對(duì)象發(fā)生很大變化，已由靜態(tài)數(shù)據(jù)集變化為動(dòng)態(tài)數(shù)據(jù)流，本文研究對(duì)象正是這種大規(guī)模連續(xù)動(dòng)態(tài)環(huán)境，其數(shù)據(jù)通常是GB級(jí)甚至是TB級(jí)的，數(shù)據(jù)按照一定的規(guī)律不斷更新。在這種環(huán)境中，已有的知識(shí)發(fā)現(xiàn)方法面臨新的問(wèn)題，主要體現(xiàn)在以下幾點(diǎn)：(1)數(shù)據(jù)挖掘效率不高。(2)處理能力跟不上。面對(duì)大規(guī)模數(shù)

2、據(jù)，囿于原有挖掘模型，很多傳統(tǒng)算法根本無(wú)法處理。(3)無(wú)法滿(mǎn)足實(shí)時(shí)更新的需求。數(shù)據(jù)是動(dòng)態(tài)的，而且頻繁更新，因此挖掘過(guò)程需要不斷進(jìn)行，來(lái)跟蹤數(shù)據(jù)的變化。而傳統(tǒng)算法無(wú)法實(shí)現(xiàn)快速更新，滿(mǎn)足這種實(shí)時(shí)需求。 針對(duì)上述困難，圍繞聚類(lèi)問(wèn)題，本文采用可繼承的觀點(diǎn)來(lái)處理大規(guī)模動(dòng)態(tài)環(huán)境的數(shù)據(jù)聚類(lèi)分析，不僅采用內(nèi)存中的增量繼承方式，而且把挖掘過(guò)程中有價(jià)值的知識(shí)固化為外存的永久繼承，實(shí)現(xiàn)知識(shí)產(chǎn)生知識(shí)，從而提供快速靈活查詢(xún)。主要工作包括： (1)

3、提出知識(shí)發(fā)現(xiàn)中可繼承問(wèn)題，給出其中關(guān)鍵定義：進(jìn)化基、進(jìn)化沖量、進(jìn)化操作、繼承度和繼承靈活性，并以此為基礎(chǔ)，把可繼承問(wèn)題進(jìn)行分類(lèi)，給出不同類(lèi)型可繼承的研究方向和重點(diǎn)。分析了傳統(tǒng)Fayyad模型、強(qiáng)度挖掘模型和簡(jiǎn)單增量模型對(duì)處理大規(guī)模連續(xù)動(dòng)態(tài)環(huán)境的不適應(yīng)性，剖析傳統(tǒng)挖掘過(guò)程中挖掘算法的參數(shù)依賴(lài)，提出基于中間知識(shí)庫(kù)的可繼承聚類(lèi)模型并給出其中中間知識(shí)的定義，界定其可加減性、等價(jià)性、濃縮性。 (2)給出聚類(lèi)中間知識(shí)的設(shè)計(jì)：EDS(Exte

4、ndedDataSummary)和ECF(ExtendedClusteringFeature)，給出他們的統(tǒng)計(jì)學(xué)基礎(chǔ)，分析其加減性、壓縮性和時(shí)空代價(jià)，說(shuō)明其合理性和對(duì)可繼承聚類(lèi)模型的適用性；給出三種中間知識(shí)獲取方法：1)基于距離的方法，根據(jù)每個(gè)單元簇的均方根半徑判斷新加入的點(diǎn)的歸屬2)基于網(wǎng)格的方法，采用動(dòng)態(tài)的網(wǎng)格來(lái)獲取中間知識(shí)，針對(duì)網(wǎng)格的稀疏特性，使用哈希技術(shù)來(lái)定位每個(gè)項(xiàng)目。3)動(dòng)態(tài)自組織特征影射方法。根據(jù)計(jì)數(shù)器變量并引入累積誤差，來(lái)

5、決定神經(jīng)元的增加與刪除，從而更好的適應(yīng)動(dòng)態(tài)環(huán)境。 (3)給出外存中中間知識(shí)元數(shù)據(jù)、時(shí)間索引、中間知識(shí)庫(kù)、中間知識(shí)表的結(jié)構(gòu)定義，采用擴(kuò)展的BNF語(yǔ)法給出中間知識(shí)結(jié)構(gòu)化模式查詢(xún)語(yǔ)言IKMQL，進(jìn)行中間知識(shí)的管理和查詢(xún)。在分析時(shí)間粒度的基礎(chǔ)上，給出三種中間知識(shí)保存方法，分別計(jì)算其時(shí)效誤差，分析和證明了每種方法在中間知識(shí)保存過(guò)程中的存儲(chǔ)容量和查詢(xún)精度。 (4)設(shè)計(jì)了基于中間知識(shí)庫(kù)的劃分聚類(lèi)方法，給出中心變化時(shí)的聚類(lèi)質(zhì)量變化公式；

6、在層次算法中，給出相異度矩陣的遞推公式，并改進(jìn)其合并策略以提高效率；在基于密度的算法中，給出同質(zhì)密度和密度相連的定義，以發(fā)現(xiàn)不同密度層次的聚類(lèi)；在基于模型的算法中，把標(biāo)準(zhǔn)方差插入到密度函數(shù)，給出單元簇成員在M步中發(fā)生的簡(jiǎn)化公式。在基于窗口操作的算法中，本文給出窗口相減操作過(guò)程。 (5)開(kāi)發(fā)原型系統(tǒng)，驗(yàn)證中間知識(shí)獲取、存儲(chǔ)和維護(hù)方法以及本文提出的運(yùn)行于其上的各類(lèi)算法的正確性和效率，分別跟采樣以及傳統(tǒng)算法作對(duì)比，證明了本文提出聚類(lèi)模