海量數(shù)據(jù)關(guān)鍵分類挖掘算法.pdf

1、隨著Internet的出現(xiàn),人類已經(jīng)進(jìn)入了新的信息時代,信息的獲取已經(jīng)不像過去那樣途徑單一,內(nèi)容有限,人們可以通過網(wǎng)絡(luò)獲得各種信息,并且每時每刻都有更多新的信息在產(chǎn)生。然而在給人們帶來便捷的同時,不斷膨脹的信息也給人們帶來了一系列問題,信息的海量規(guī)模使得一些真正有價值的信息被淹沒在大量無用的噪聲信息中間,而一般人缺乏有效的方法或工具進(jìn)行辨別,使其獲取有價值的信息變得更加困難。數(shù)據(jù)挖掘技術(shù)的出現(xiàn),正是為了幫助人們更有效地從海量的數(shù)據(jù)中發(fā)現(xiàn)

2、有用的知識,幫助人們獲得有價值的信息,輔助人們進(jìn)行決策。
　　同時,由于Internet的發(fā)展,海量的Web數(shù)據(jù)逐漸成為了一個重要的數(shù)據(jù)源,從靜態(tài)的HTML頁面,數(shù)據(jù)庫中存儲的交互信息,用戶訪問網(wǎng)站留下的日志信息,多元化的數(shù)據(jù)構(gòu)成了Web。而在這些數(shù)據(jù)中,也不乏存在許多有價值的信息,越來越多的研究人員和公司企業(yè)都在將數(shù)據(jù)挖掘技術(shù)運用到Web數(shù)據(jù)挖掘中,以發(fā)現(xiàn)潛在的知識以及商業(yè)規(guī)律。
　　我們發(fā)現(xiàn)Web數(shù)據(jù)中存在大量的分類數(shù)據(jù)

3、,并且在一些具體應(yīng)用中,存在挖掘分類數(shù)據(jù)的需求,以更好地提供決策支持,為此,本文結(jié)合實際應(yīng)用需求提出了關(guān)鍵分類查詢,主要工作有以下4個方面:
　　1.對決策支持應(yīng)用中普遍用到的查詢算法Top-K查詢、KNN查詢、Skyline查詢及相關(guān)工作進(jìn)行了討論,并根據(jù)他們的共同特征總結(jié)出查找關(guān)鍵的對象是決策支持應(yīng)用中需求較多的查詢?nèi)蝿?wù)。
　　2.對Web數(shù)據(jù)中普遍存在的分類數(shù)據(jù)及其挖掘價值進(jìn)行了探討,并結(jié)合決策支持應(yīng)用中對數(shù)據(jù)挖掘的需

4、求提出了新問題,關(guān)鍵分類查詢。同時我們對新問題進(jìn)行了詳細(xì)地分析,給出了兩種定義和相應(yīng)的基本處理算法。
　　3.分析了基本處理算法的復(fù)雜度,并針對關(guān)鍵分類查詢第二種定義的處理算法,提出了一系列啟發(fā)式剪枝規(guī)則,設(shè)計了改進(jìn)的算法,并通過大量實驗驗證了改進(jìn)后算法的有效性和高效性。
　　4.討論了關(guān)鍵分類查詢應(yīng)用在海量數(shù)據(jù)環(huán)境下可能遇到的性能問題,并應(yīng)用了Map-Reduce算法框架對處理算法進(jìn)行分布式改造,使其能夠有效處理海量數(shù)據(jù),