海量數(shù)據(jù)關鍵分類挖掘算法.pdf

1、隨著Internet的出現(xiàn),人類已經(jīng)進入了新的信息時代,信息的獲取已經(jīng)不像過去那樣途徑單一,內容有限,人們可以通過網(wǎng)絡獲得各種信息,并且每時每刻都有更多新的信息在產生。然而在給人們帶來便捷的同時,不斷膨脹的信息也給人們帶來了一系列問題,信息的海量規(guī)模使得一些真正有價值的信息被淹沒在大量無用的噪聲信息中間,而一般人缺乏有效的方法或工具進行辨別,使其獲取有價值的信息變得更加困難。數(shù)據(jù)挖掘技術的出現(xiàn),正是為了幫助人們更有效地從海量的數(shù)據(jù)中發(fā)現(xiàn)

2、有用的知識,幫助人們獲得有價值的信息,輔助人們進行決策。
　　同時,由于Internet的發(fā)展,海量的Web數(shù)據(jù)逐漸成為了一個重要的數(shù)據(jù)源,從靜態(tài)的HTML頁面,數(shù)據(jù)庫中存儲的交互信息,用戶訪問網(wǎng)站留下的日志信息,多元化的數(shù)據(jù)構成了Web。而在這些數(shù)據(jù)中,也不乏存在許多有價值的信息,越來越多的研究人員和公司企業(yè)都在將數(shù)據(jù)挖掘技術運用到Web數(shù)據(jù)挖掘中,以發(fā)現(xiàn)潛在的知識以及商業(yè)規(guī)律。
　　我們發(fā)現(xiàn)Web數(shù)據(jù)中存在大量的分類數(shù)據(jù)

3、,并且在一些具體應用中,存在挖掘分類數(shù)據(jù)的需求,以更好地提供決策支持,為此,本文結合實際應用需求提出了關鍵分類查詢,主要工作有以下4個方面:
　　1.對決策支持應用中普遍用到的查詢算法Top-K查詢、KNN查詢、Skyline查詢及相關工作進行了討論,并根據(jù)他們的共同特征總結出查找關鍵的對象是決策支持應用中需求較多的查詢任務。
　　2.對Web數(shù)據(jù)中普遍存在的分類數(shù)據(jù)及其挖掘價值進行了探討,并結合決策支持應用中對數(shù)據(jù)挖掘的需

4、求提出了新問題,關鍵分類查詢。同時我們對新問題進行了詳細地分析,給出了兩種定義和相應的基本處理算法。
　　3.分析了基本處理算法的復雜度,并針對關鍵分類查詢第二種定義的處理算法,提出了一系列啟發(fā)式剪枝規(guī)則,設計了改進的算法,并通過大量實驗驗證了改進后算法的有效性和高效性。
　　4.討論了關鍵分類查詢應用在海量數(shù)據(jù)環(huán)境下可能遇到的性能問題,并應用了Map-Reduce算法框架對處理算法進行分布式改造,使其能夠有效處理海量數(shù)據(jù),