關(guān)聯(lián)規(guī)則與超團(tuán)挖掘算法研究.pdf

1、數(shù)據(jù)挖掘技術(shù)是近年來數(shù)據(jù)庫和人工智能等領(lǐng)域研究的熱點(diǎn)課題，它引起了科學(xué)界和產(chǎn)業(yè)界的廣泛關(guān)注。數(shù)據(jù)挖掘的主要目的是從數(shù)據(jù)集合中發(fā)現(xiàn)隱含的、事先未知的、對決策有潛在價(jià)值的用戶感興趣的知識。關(guān)聯(lián)規(guī)則最初來源于對超市購物籃的分析，主要用于發(fā)現(xiàn)數(shù)據(jù)集中項(xiàng)與項(xiàng)之間的相關(guān)聯(lián)系，是數(shù)據(jù)挖掘最先研究的問題之一，也是數(shù)據(jù)挖掘的一個(gè)熱點(diǎn)研究方向。關(guān)聯(lián)規(guī)則可以廣泛地應(yīng)用于各個(gè)領(lǐng)域，既可以檢驗(yàn)行業(yè)內(nèi)長期形成的知識模式，也能夠發(fā)現(xiàn)隱藏的新規(guī)律。如何有效地發(fā)現(xiàn)、理解

2、并運(yùn)用關(guān)聯(lián)規(guī)則，是數(shù)據(jù)挖掘任務(wù)中的一個(gè)重要研究方面。 本文在數(shù)據(jù)挖掘研究和關(guān)聯(lián)規(guī)則挖掘研究的背景下，展開了對關(guān)聯(lián)規(guī)則挖掘算法的研究工作。首先分析討論了數(shù)據(jù)挖掘技術(shù)的產(chǎn)生與發(fā)展現(xiàn)狀、數(shù)據(jù)挖掘的基本過程、數(shù)據(jù)挖掘的主要任務(wù)；接著介紹了關(guān)聯(lián)規(guī)則挖掘的基本概念、關(guān)聯(lián)規(guī)則挖掘的算法研究現(xiàn)狀、關(guān)聯(lián)規(guī)則挖掘工作的擴(kuò)展和應(yīng)用，數(shù)據(jù)集的水平和垂直分布，分析了經(jīng)典關(guān)聯(lián)規(guī)則挖掘方法Apriori算法及另一個(gè)易于實(shí)現(xiàn)的Relim算法。 本文接著

3、重點(diǎn)討論了h-置信度度量及其產(chǎn)生的超團(tuán)模式，論述了交叉支持的概念及其相關(guān)的擴(kuò)展問題。在此基礎(chǔ)上提出超團(tuán)挖掘中可以應(yīng)用事務(wù)拆分的方法對事務(wù)集進(jìn)行預(yù)處理，并探討了事務(wù)拆分的方法及其正確性的證明。通過進(jìn)一步的分析，證明在基于興趣度度量的關(guān)聯(lián)規(guī)則挖掘中，如果度量具備交叉支持性質(zhì)，則都可以應(yīng)用事務(wù)拆分的方式對數(shù)據(jù)集做預(yù)處理。 本文提出了基于Relim算法的超團(tuán)挖掘算法HRelim和極大超團(tuán)挖掘算法MHRelim。以超團(tuán)挖掘算法為基礎(chǔ)，通過

4、實(shí)驗(yàn)，探討了事務(wù)拆分及事務(wù)壓縮對HRelim算法帶來的效率提高。通過實(shí)驗(yàn)，說明MHRelim算法在稀疏數(shù)據(jù)集上具有良好的挖掘性能。 通過在算法Apriori，Relim，F(xiàn)P-growth上做的大量實(shí)驗(yàn)，得到算法在數(shù)據(jù)集的項(xiàng)不同排序方式下的效率差異結(jié)果，由此猜測在關(guān)聯(lián)規(guī)則挖掘算法中，如果頻繁項(xiàng)集的獲取順序是這樣的，即總是先產(chǎn)生含有支持度最低的項(xiàng)的頻繁集，并且由此使得每個(gè)頻繁項(xiàng)產(chǎn)生的頻繁項(xiàng)集數(shù)量均較為接近，則算法速度最快，稱之為均