基于標(biāo)記有序樹模型的半結(jié)構(gòu)化數(shù)據(jù)中模式發(fā)現(xiàn)方法研究.pdf

1、該文介紹了數(shù)據(jù)挖掘、半結(jié)構(gòu)化數(shù)據(jù)、XML的相關(guān)概念和研究現(xiàn)狀.給出了一種基于XML研究一般半結(jié)構(gòu)化數(shù)據(jù)的方法.以標(biāo)記有序樹為半結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)模型,從基于最右擴展枚舉技術(shù)的半結(jié)構(gòu)化數(shù)據(jù)最大模式挖掘方法研究、半結(jié)構(gòu)化數(shù)據(jù)模式的增量挖掘方法研究和基于分組計算的半結(jié)構(gòu)化數(shù)據(jù)頻繁模式挖掘方法研究三方面介紹了作者的一些研究成果.該文的主要貢獻和創(chuàng)新特色如下:1.為了利用XML對一般半結(jié)構(gòu)化數(shù)據(jù)進行研究,提出了一種基于XML存儲半結(jié)構(gòu)化數(shù)據(jù)的方法,

2、設(shè)計并實現(xiàn)了相應(yīng)存儲與解析算法.OEM模型是常用的半結(jié)構(gòu)化數(shù)據(jù)表示模型,其外存存儲通常依賴于某種難以解析和處理的自定義格式.XML在數(shù)據(jù)描述和數(shù)據(jù)交換等領(lǐng)域有著廣泛的應(yīng)用.鑒于OEM模型是一種圖狀模型,而通常的XML數(shù)據(jù)模型是樹狀模型,為此需解決圖狀模型數(shù)據(jù)映射為樹狀模型數(shù)據(jù)這一關(guān)鍵問題,利用XML元素和屬性的語義信息可從語義級別解決該問題.2.針對已有挖掘算法通常挖掘所有頻繁模式,而其中很多頻繁模式為其它模式的子模式問題,該文設(shè)計實現(xiàn)

3、了一種最大模式挖掘算法.該算法采用最右擴展枚舉方法無重復(fù)枚舉所有候選模式,利用頻繁模式擴展森林實現(xiàn)高效剪枝擴展和挖掘頻繁葉模式,通過計算頻繁葉模式間的包含關(guān)系挖掘樹狀最大頻繁模式.試驗結(jié)果表明該算法具有良好性能.3.針對已有半結(jié)構(gòu)化數(shù)據(jù)模式挖掘算法難以對挖掘結(jié)果進行增量式更新問題,該文設(shè)計實現(xiàn)了一種增量式模式挖掘算法.該算法采用最右擴展枚舉方法無重復(fù)枚舉所有候選模式,利用挖掘過程中形成的頻繁模式擴展森林實現(xiàn)高效剪枝,并采用基于Hash計

4、算樹比較技術(shù)以提高模式樹集合交集運算效率.為評價該方法的性能,針對不同參數(shù)條件下的數(shù)據(jù)進行了比較試驗,試驗結(jié)果表明該算法效率相對非增量模式挖掘算法有明顯提高.4.針對已有模式挖掘算法難以處理規(guī)模較大的半結(jié)構(gòu)化數(shù)據(jù)問題,該文設(shè)計實現(xiàn)了基于分組計算的頻繁模式挖掘算法.為了解決大數(shù)據(jù)量條件下的模式挖掘問題,該算法采用了分組挖掘方法,并利用單組挖掘過程中形成的頻繁模式擴展森林實現(xiàn)高效剪枝和模式支持計數(shù)的增量計算.該算法還采用了最右擴展枚舉方法無