高頻繁度低效用模式挖掘算法及其在云計算下的實現(xiàn)研究.pdf

1、模式挖掘是數(shù)據(jù)挖掘技術中的一個重要的研究方向。對于傳統(tǒng)的頻繁模式挖掘和高效用模式挖掘，它們只能分別用來挖掘頻繁模式和高效用模式。在許多實際應用場景下，這些傳統(tǒng)的單純的頻繁模式挖掘和效用模式挖掘模型的范疇會比較狹窄，不能滿足實際應用中的多樣化分析需求，人們往往對頻繁度和效用值都感興趣，不單單只是頻繁度或者效用值。為了解決這個問題，本文提出同時考慮支持度和效用值，進而挖掘更有價值的模式，其中一種就是高頻繁度低效用模式，并提出了一個新穎的算法

2、HFLUP(High Frequency and Low Utility Patterns Mining Algorithm)。
　　挖掘高頻繁度低效用模式的最簡單直接的方法就是分為兩階段來挖掘，首先利用頻繁模式挖掘算法來挖掘出所有的高頻繁度模式，然后再從這些高頻繁度模式中找出效用值低于用戶指定的最大效用閾值的模式，即最終得到高頻繁度低效用模式。但是這種兩階段的挖掘方式會產生大量的候選集，且需多次遍歷數(shù)據(jù)庫，磁盤I/O開銷大，挖掘

3、效率低。因此，為了避免這些問題，本文提出的高頻繁度低效用模式挖掘算法HFLUP是一個不產生候選集的單階段算法，并且只需要遍歷數(shù)據(jù)庫兩次。本文還提出了一個新的數(shù)據(jù)結構，叫做FUL，用來存儲模式的效用信息以及裁剪搜索空間的信息，通過FULs，算法可以高效地直接挖掘出高頻繁度低效用模式且無需產生候選模式。為了減小搜索空間，提高挖掘效率，提出了有效的且規(guī)?？煽氐男в孟陆绮眉舨呗砸约巴ㄟ^lookahead策略預先確定高頻繁度低效用模式而無需遞歸枚

4、舉。大量實驗表明:所提出的兩個裁剪策略是有效且高效的，HFLUP算法在運行時間和內存消耗上大大優(yōu)于兩階段的高頻繁度低效用模式挖掘方法。
　　本文的第二項工作是將所提出的算法并行化，以適應海量大數(shù)據(jù)處理的要求，以克服單機的物理內存局限所造成單機挖掘的低效率。本文采用云計算模式下的基于內存的分布式計算框架Spark來實現(xiàn)算法的并行化，提出了基于Spark的并行高頻繁度低效用模式挖掘算法PHFLUPS(Parallel High Fre