領(lǐng)域知識參與數(shù)據(jù)挖掘預處理階段的研究.pdf

1、眾所周知，數(shù)據(jù)庫中往往存在冗余數(shù)據(jù)、缺失數(shù)據(jù)、不確定數(shù)據(jù)和不一致數(shù)據(jù)等諸多情況，這些數(shù)據(jù)成了知識發(fā)現(xiàn)的一大障礙。因此，數(shù)據(jù)預處理就成為數(shù)據(jù)挖掘過程中非常重要的一環(huán)。如果將領(lǐng)域知識應用于數(shù)據(jù)于處理當中，可以有效地改善數(shù)據(jù)集的質(zhì)量，縮小數(shù)據(jù)集的樣本數(shù)量，從而提高數(shù)據(jù)挖掘的速度和質(zhì)量。 本論文針對應用領(lǐng)域知識的數(shù)據(jù)預處理技術(shù)進行了深入的理論和應用研究，改進了部分現(xiàn)有的數(shù)據(jù)預處理算法，并設計和實現(xiàn)了通用的應用領(lǐng)域知識的數(shù)據(jù)預處理系統(tǒng)。主

2、要研究內(nèi)容如下： 1、對數(shù)據(jù)預處理技術(shù)的概念和意義做了全面和詳細的描述，分析了數(shù)據(jù)預處理的各種主要方法，涉及數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)規(guī)約，并指出了現(xiàn)階段數(shù)據(jù)預處理存在的缺陷； 2、介紹了領(lǐng)域知識的概念和研究現(xiàn)狀，重點給出了領(lǐng)域知識在數(shù)據(jù)挖掘各個階段的重要意義和領(lǐng)域知識的表示方法； 3、重點研究了面向數(shù)據(jù)預處理技術(shù)的領(lǐng)域知識的分類和表示，將應用于數(shù)據(jù)預處理的領(lǐng)域知識分為：范圍知識、層次知識、規(guī)則知識和數(shù)理

3、統(tǒng)計知識，依據(jù)此分類設計了領(lǐng)域知識的基于數(shù)據(jù)字典和XML文件的兩層存儲結(jié)構(gòu)和存儲方法，以及將領(lǐng)域知識應用于數(shù)據(jù)預處理過程的通用算法； 4、著重研究了缺損數(shù)據(jù)處理和數(shù)據(jù)離散化兩種數(shù)據(jù)預處理方法，分析了基于聚類的缺損數(shù)據(jù)處理算法，使用量化相似關(guān)系模型改進了ROtJSTIDA算法，從初始分割點、最大容忍區(qū)間和綜合考慮各屬性的分割點三個方面改進了屬性類別差異數(shù)據(jù)離散化算法； 5、給出了所開發(fā)的應用領(lǐng)域知識的數(shù)據(jù)挖掘系統(tǒng)的框架結(jié)構(gòu)