大數(shù)據(jù)中關(guān)于效用模式挖掘的擴(kuò)展研究.pdf

1、數(shù)據(jù)庫(kù)技術(shù)的飛速發(fā)展以及各行各業(yè)數(shù)據(jù)量的指數(shù)級(jí)增長(zhǎng)引領(lǐng)著人們步入大數(shù)據(jù)時(shí)代。如何快速而有效的從大量的未處理的數(shù)據(jù)中獲取到人們所需要的信息已經(jīng)引起了人們的重視。高效用模式挖掘作為數(shù)據(jù)挖掘領(lǐng)域中一個(gè)重要的研究課題，首次被提出主要用于解決頻繁模式挖掘的缺陷，即頻繁模式挖掘僅僅考慮模式出現(xiàn)的頻率，而忽視了其他重要的信息，比如數(shù)量和利潤(rùn)，效用模式挖掘正好彌補(bǔ)了這個(gè)缺陷。目前已有很多算法被提出用于效用模式挖掘的基礎(chǔ)問(wèn)題。
　　然而，考慮到各種

2、實(shí)際因素，在效用模式挖掘的基礎(chǔ)問(wèn)題上延伸出了許多新的研究課題還有待解決，包括非確定性高效用模式挖掘、閉合高效用模式挖掘、增量型高效用模式挖掘以及top-n高效用模式挖掘等等。現(xiàn)有的增量型高效用模式挖掘算法和top-n高效用模式挖掘算法或者基于一個(gè)兩階段的模型，產(chǎn)生了大量的候選集、造成了規(guī)模性問(wèn)題，或者基于一個(gè)垂直數(shù)據(jù)結(jié)構(gòu)、產(chǎn)生了大量的連接操作、導(dǎo)致效率低下。為了解決上述問(wèn)題，本文基于現(xiàn)有的d2HUP算法，使用了一種新的數(shù)據(jù)結(jié)構(gòu)和多個(gè)新的

3、剪枝策略，分別提出了兩個(gè)新算法來(lái)解決增量型效用挖掘和top-n效用挖掘問(wèn)題。
　　本文首先對(duì)現(xiàn)有的高效用模式挖掘算法做一個(gè)綜述性的分析及對(duì)比，主要表現(xiàn)在運(yùn)行時(shí)間、內(nèi)存使用、候選集數(shù)量以及規(guī)模性方面，并得出d2HUP算法是目前已知的最優(yōu)的算法，尤其是在運(yùn)行時(shí)間方面相比于其他的算法有1到2個(gè)數(shù)量級(jí)的提升，該算法作為后續(xù)增量型效用模式挖掘和top-n效用模式挖掘研究的基礎(chǔ)算法。
　　HUPTID算法是在d2HUP算法基礎(chǔ)上提出的主

4、要用于在數(shù)據(jù)庫(kù)交易項(xiàng)記錄增加和刪除的情況下直接的挖掘出所有的高效用模式。首先，一個(gè)新的數(shù)據(jù)結(jié)構(gòu)被提出用于增量型效用模式挖掘。第二，三個(gè)策略被提出用于各種可能的改變情況下減少不必要的挖掘操作，同時(shí)，對(duì)挖掘過(guò)程中可能出現(xiàn)的三種情況分別提出了相應(yīng)的策略來(lái)進(jìn)行剪枝。在實(shí)驗(yàn)部分，三種情況分別被分析，即交易項(xiàng)記錄既有插入也有刪除，交易項(xiàng)記錄只有插入、以及交易項(xiàng)記錄只有刪除。結(jié)果表明HUPTID算法比目前已知的增量型效用模式挖掘算法效率高出了1到2個(gè)