基于Sketch的數(shù)據(jù)流頻繁項(xiàng)集挖掘研究.pdf

1、科學(xué)技術(shù)的高速發(fā)展引發(fā)了數(shù)據(jù)流的應(yīng)用，數(shù)據(jù)以流的形式產(chǎn)生，并實(shí)時(shí)、持續(xù)、有序地到達(dá)。頻繁項(xiàng)集挖掘在數(shù)據(jù)流中有著重要的應(yīng)用，而傳統(tǒng)的靜態(tài)頻繁項(xiàng)集挖掘算法不適用于數(shù)據(jù)流。Sketch利用hash技術(shù)，能以很快的速度處理數(shù)據(jù)，并且Sketch利用有限內(nèi)存資源保存較多數(shù)據(jù)關(guān)鍵信息的近似值，滿足數(shù)據(jù)流高速不斷到達(dá)的特性，所以Sketch在數(shù)據(jù)流頻繁挖掘中應(yīng)用很廣。但傳統(tǒng)的Sketch結(jié)構(gòu)不適用于頻繁多項(xiàng)集的挖掘，并在數(shù)據(jù)流頻繁項(xiàng)挖掘中性能有待提高

2、。本文的研究?jī)?nèi)容可概括為兩個(gè)方面：
　　針對(duì)以往的Sketch存在內(nèi)存消耗多、隨數(shù)據(jù)量增多而飽和、查詢準(zhǔn)確率低等問(wèn)題，本文給出了幾種Sketch優(yōu)化技術(shù)，并提出了一種新的概要數(shù)據(jù)結(jié)構(gòu)—ECM(extensible Count-min)。ECM有效的解決了Sketch內(nèi)存小好多、查詢準(zhǔn)確率低以及隨數(shù)據(jù)量增多而飽和等問(wèn)題。
　　傳統(tǒng)的頻繁項(xiàng)集挖掘算法不適用于不確定數(shù)據(jù)流頻繁項(xiàng)集挖掘，而Sketch只適用于頻繁1-項(xiàng)集挖掘，本文結(jié)