基于云計(jì)算的粗糙集屬性約簡(jiǎn)的研究.pdf

1、編號(hào)：碩士學(xué)位論文碩士學(xué)位論文題目：基于云計(jì)算的粗糙集屬性約簡(jiǎn)的研究培養(yǎng)單位：科信軟件學(xué)院專(zhuān)業(yè)名稱(chēng)：計(jì)算機(jī)應(yīng)用技術(shù)指導(dǎo)教師：劉天華研究生：李朋完成時(shí)間：2015.02沈陽(yáng)師范大學(xué)研究生處制類(lèi)別全日制研究生教育碩士同等學(xué)力I基于云計(jì)算的粗糙集屬性約簡(jiǎn)的研究中文摘要粗糙集理論(RoughSet)在上世紀(jì)末由歐洲著名的學(xué)者PawlakZ，作為一種對(duì)進(jìn)行數(shù)據(jù)分析和處理工具首次被概括歸納推出，它是一種用于描述具有不確定性、含糊性較高的數(shù)據(jù)的數(shù)學(xué)工

2、具，已被用于很多方向的研究。例如，規(guī)則發(fā)現(xiàn)、序列模式發(fā)掘、文本數(shù)據(jù)分析、圖像數(shù)據(jù)分析等。由于粗糙集可在保持分類(lèi)決策能力不變的前提下，不需要額外提供所處理數(shù)據(jù)的任何先驗(yàn)信息，就能有效地分析出各種不精確的、不一致的、不完整的等各種不完備信息。粗糙集還可以對(duì)數(shù)據(jù)進(jìn)行分析和推理，從其中挖掘出隱含在的屬性間的依賴關(guān)系、重要性、導(dǎo)出簡(jiǎn)練的決策規(guī)則和分類(lèi)規(guī)則。基于粗糙集的屬性約簡(jiǎn)在數(shù)據(jù)分析處理的相關(guān)領(lǐng)域里有著不可磨滅的重要作用，因此關(guān)于它的學(xué)習(xí)和研究

3、漸漸地成為一個(gè)全球性的焦點(diǎn)話題。隨著大數(shù)據(jù)時(shí)代的腳步漸漸地臨近，我們所面臨的信息數(shù)據(jù)越來(lái)越豐富，這不僅僅表現(xiàn)在數(shù)據(jù)量上，還表現(xiàn)在數(shù)據(jù)維度上。在單機(jī)上的數(shù)據(jù)處理知識(shí)挖掘平臺(tái)已經(jīng)無(wú)法滿足大數(shù)據(jù)時(shí)代對(duì)大量樣本的儲(chǔ)存以及處理的工作。云計(jì)算相關(guān)概念技術(shù)的出現(xiàn)為海量異構(gòu)數(shù)據(jù)的存儲(chǔ)、知識(shí)分析挖掘的難題給出了有效的應(yīng)對(duì)方法，分布式處理系統(tǒng)和并行編程框架，是云計(jì)算相關(guān)理論中重中之重的概念。本文在具體地描述了開(kāi)源云平臺(tái)Hadoop和并行編程模型的同時(shí)，基于

4、并行編程模型對(duì)粗糙集屬性約簡(jiǎn)在云環(huán)境下進(jìn)行分析實(shí)現(xiàn)。本文的主要工作如下：基于云平臺(tái)Hadoop設(shè)計(jì)了一個(gè)數(shù)據(jù)分析的框架。這個(gè)框架采用BS模式提供了Web頁(yè)面形式的交互頁(yè)面，使用者根據(jù)自己的要求，來(lái)提交相應(yīng)的樣本數(shù)據(jù)的分析和處理。Server端依據(jù)收到的任務(wù)，然后生成一系列相應(yīng)的Hive命令，再之后將生成的Hive命令生成對(duì)應(yīng)一系列MapReduce任務(wù)。Master節(jié)點(diǎn)根據(jù)相應(yīng)的命令，對(duì)slaver節(jié)點(diǎn)產(chǎn)生相應(yīng)的調(diào)度分配，將數(shù)據(jù)分析處理

5、的任務(wù)放到云端執(zhí)行。最后將分析處理后的結(jié)果數(shù)據(jù)匯總呈現(xiàn)用戶。通過(guò)樣本數(shù)的測(cè)試和根據(jù)對(duì)實(shí)驗(yàn)結(jié)果觀察，本文設(shè)計(jì)的框架對(duì)海量異構(gòu)數(shù)據(jù)的分析挖掘工作有較高的效率。通過(guò)對(duì)并行算法的平均時(shí)間復(fù)雜性的分析，并行編程模型在很多程度上降低了算法的復(fù)雜性。通過(guò)樣本集的逐步變大，對(duì)數(shù)據(jù)集的處理時(shí)間變化接近線性變化。為了進(jìn)一步對(duì)本算效率，我們?cè)诔绦驁?zhí)行過(guò)程中使用了Combiner，在本地對(duì)map過(guò)程的輸出做優(yōu)化降低輸出量，進(jìn)而減少了Reduce過(guò)程的輸入量。最