高效用項(xiàng)集挖掘算法的研究.pdf

1、關(guān)聯(lián)規(guī)則挖掘作為數(shù)據(jù)挖掘的一個(gè)重要研究領(lǐng)域,通過(guò)各事務(wù)項(xiàng)集之間的相關(guān)聯(lián)系,給用戶提供感興趣的規(guī)則,在商業(yè)、科學(xué)和其它應(yīng)用方面得到了廣泛應(yīng)用。但是,傳統(tǒng)的關(guān)聯(lián)規(guī)則挖掘基于“支持度-置信度”框架產(chǎn)生強(qiáng)關(guān)聯(lián)規(guī)則,只考慮了項(xiàng)集的頻繁度,因此用戶未必對(duì)挖掘產(chǎn)生的規(guī)則感興趣,而且很可能會(huì)丟失那些支持度不高、但效用值高的規(guī)則?；谛в玫年P(guān)聯(lián)規(guī)則挖掘彌補(bǔ)了這一缺陷。它用效用值來(lái)衡量項(xiàng)集的重要性,反映了用戶偏好,更好地滿足決策需求。本文從提高高效用項(xiàng)集挖

2、掘性能的角度出發(fā),主要工作有:
　　 分析了目前高效用項(xiàng)集挖掘算法的優(yōu)點(diǎn)和不足,設(shè)計(jì)了一種新的快速高效用挖掘算法FUI-Mine。FUI-Mine將原數(shù)據(jù)集進(jìn)行分類存儲(chǔ),顯著減少搜索時(shí)間,不需要重復(fù)掃描原數(shù)據(jù)集。同時(shí)構(gòu)造一種新的數(shù)據(jù)結(jié)構(gòu)FUI-Free,按分類后的項(xiàng)集分別構(gòu)造FUI-Tree并獨(dú)立進(jìn)行挖掘,只需要掃描葉子結(jié)點(diǎn)就可得到高效用項(xiàng)集,避免了遞歸地對(duì)FUI-Free進(jìn)行搜索。實(shí)驗(yàn)證明,該算法在挖掘項(xiàng)集最大值相對(duì)較小的數(shù)據(jù)

3、集時(shí),執(zhí)行效率上要明顯優(yōu)于同類算法Two-Phase和CTU-Mine。
　　 FUI-Mine算法能快速得到數(shù)據(jù)集中的長(zhǎng)模式效用集,但短模式效用集的挖掘成了其挖掘效率的瓶頸,因此提出一種結(jié)合FUI-Mine算法和列枚舉分別挖掘長(zhǎng)模式和短模式的混合挖掘算法Hybird-Mine。列枚舉挖掘采用垂直數(shù)據(jù)格式通過(guò)事務(wù)的交集運(yùn)算,直接得到短項(xiàng)集。同時(shí)本文給出項(xiàng)集的后續(xù)補(bǔ)集對(duì)列枚舉方法進(jìn)行優(yōu)化,最大程度上減少了項(xiàng)集的相交次數(shù)和存儲(chǔ)空間。

4、事務(wù)權(quán)重向下閉屬性剪枝策略同樣適用于列枚舉,提前將不滿足最小效用閥值的項(xiàng)集剪枝,減少了搜索空間。實(shí)驗(yàn)證明,混合算法Hybird-Mine彌補(bǔ)了FUI-Mine算法的缺陷,提高了挖掘短模式的效率。
　　 當(dāng)前高效用挖掘算法都是挖掘出完全的高效用項(xiàng)集,當(dāng)最小效用閥值minutil設(shè)置較低或數(shù)據(jù)集中存在長(zhǎng)模式,會(huì)產(chǎn)生大量數(shù)目的效用項(xiàng)集。因此,本文分析效用挖掘的現(xiàn)實(shí)意義,通過(guò)結(jié)合支持計(jì)數(shù)和效用的數(shù)學(xué)特性,將閉模式約束引入到高效用項(xiàng)集挖掘