大數(shù)據(jù)分析方法

1、1大數(shù)據(jù)是大數(shù)據(jù)是2012的時(shí)髦詞匯，正受到越來越多人的關(guān)注和談?wù)摗４髷?shù)據(jù)之所以受到人們的關(guān)注和談?wù)?，是因?yàn)殡[藏在大數(shù)據(jù)后面超千億美元的市場(chǎng)機(jī)會(huì)。大數(shù)據(jù)時(shí)代，數(shù)據(jù)挖掘是最關(guān)鍵的工作。以下內(nèi)容供個(gè)人學(xué)習(xí)用，感興趣的朋友可以看一下。智庫百科是這樣描述數(shù)據(jù)挖掘的“數(shù)據(jù)挖掘又稱數(shù)據(jù)庫中的知識(shí)發(fā)現(xiàn)，是目前人工智能和數(shù)據(jù)庫領(lǐng)域研究的熱點(diǎn)問題，所謂數(shù)據(jù)挖掘是指從數(shù)據(jù)庫的大量數(shù)據(jù)中揭示出隱含的、先前未知的并有潛在價(jià)值的信息的非平凡過程。數(shù)據(jù)挖掘是一種決

2、策支持過程，它主要基于人工智能、機(jī)器學(xué)習(xí)、模式識(shí)別、統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫、可視化技術(shù)等，高度自動(dòng)化地分析企業(yè)的數(shù)據(jù)，做出歸納性的推理，從中挖掘出潛在的模式，幫助決策者調(diào)整市場(chǎng)策略，減少風(fēng)險(xiǎn)，做出正確的決策。數(shù)據(jù)挖掘的定義數(shù)據(jù)挖掘的定義技術(shù)上的定義及含義技術(shù)上的定義及含義數(shù)據(jù)挖掘(DataMining)就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過程。這個(gè)定義包

3、括好幾層含義：數(shù)據(jù)源必須是真實(shí)的、大量的、含噪聲的發(fā)現(xiàn)的是用戶感興趣的知識(shí)發(fā)現(xiàn)的知識(shí)要可接受、可理解、可運(yùn)用并不要求發(fā)現(xiàn)放之四海皆準(zhǔn)的知識(shí)，僅支持特定的發(fā)現(xiàn)問題。與數(shù)據(jù)挖掘相近的同義詞有數(shù)據(jù)融合、人工智能、商務(wù)智能、模式識(shí)別、機(jī)器學(xué)習(xí)、知識(shí)發(fā)現(xiàn)、數(shù)據(jù)分析和決策支持等。何為知識(shí)從廣義上理解，數(shù)據(jù)、信息也是知識(shí)的表現(xiàn)形式，但是人們更把概念、規(guī)則、模式、規(guī)律和約束等看作知識(shí)。人們把數(shù)據(jù)看作是形成知識(shí)的源泉，好像從礦石中采礦或淘金一樣。原始數(shù)據(jù)

4、可以是結(jié)構(gòu)化的，如關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)也可以是半結(jié)構(gòu)化的，如文本、圖形和圖像數(shù)據(jù)甚至是分布在網(wǎng)絡(luò)上的異構(gòu)型數(shù)據(jù)。發(fā)現(xiàn)知識(shí)的方法可以是數(shù)學(xué)的，也可以是非數(shù)學(xué)的可以是演繹的，也可以是歸納的。發(fā)現(xiàn)的知識(shí)可以被用于信息管理，查詢優(yōu)化，決策支持和過程控制等，還可以用于數(shù)據(jù)自身的維護(hù)。因此，數(shù)據(jù)挖掘是一門交叉學(xué)科，它把人們對(duì)數(shù)據(jù)的應(yīng)用從低層次的簡(jiǎn)單查詢，提升到從數(shù)據(jù)中挖掘知識(shí)，提供決策支持。在這種需求牽引下，匯聚了不同領(lǐng)域的研究者，尤其是數(shù)據(jù)庫技術(shù)、

5、人工智能技術(shù)、數(shù)理統(tǒng)計(jì)、可視化技術(shù)、并行計(jì)算等方面的學(xué)者和工程技術(shù)人員，投身到數(shù)據(jù)挖掘這一新興的研究領(lǐng)域，形成新的技術(shù)熱點(diǎn)。這里所說的知識(shí)發(fā)現(xiàn)，不是要求發(fā)現(xiàn)放之四海而皆準(zhǔn)的真理，也不是要去發(fā)現(xiàn)嶄新的自然科學(xué)定理和純數(shù)學(xué)公式，更不是什么機(jī)器定理證明。實(shí)際上，所有發(fā)現(xiàn)的知識(shí)都是相對(duì)的，是有特定前提和約束條件，面向特定領(lǐng)域的，同時(shí)還要能夠易于被用戶理解。最好能用自然語言表達(dá)所發(fā)現(xiàn)的結(jié)果。⑤特征。特征分析是從數(shù)據(jù)庫中的一組數(shù)據(jù)中提取出關(guān)于這些數(shù)

6、據(jù)的特征式，這些特征式表達(dá)了該數(shù)據(jù)集的總體特征。如營銷人員通過對(duì)客戶流失因素的特征提取，可以得到導(dǎo)致客戶流失的一系列原因和主要特征，利用這些特征可以有效地預(yù)防客戶的流失。⑥變化和偏差分析。偏差包括很大一類潛在有趣的知識(shí)，如分類中的反常實(shí)例，模式的例外，觀察結(jié)果對(duì)期望的偏差等，其目的是尋找觀察結(jié)果與參照量之間有意義的差別。在企業(yè)危機(jī)管理及其預(yù)警中，管理者更感興趣的是那些意外規(guī)則。意外規(guī)則的挖掘可以應(yīng)用到各種異常信息的發(fā)現(xiàn)、分析、識(shí)別、評(píng)價(jià)

7、和預(yù)警等方面。⑦Web頁挖掘。隨著Inter的迅速發(fā)展及Web的全球普及，使得Web上的信息量無比豐富，通過對(duì)Web的挖掘，可以利用Web的海量數(shù)據(jù)進(jìn)行分析，收集政治、經(jīng)濟(jì)、政策、科技、金融、各種市場(chǎng)、競(jìng)爭(zhēng)對(duì)手、供求信息、客戶等有關(guān)的信息，集中精力分析和處理那些對(duì)企業(yè)有重大或潛在重大影響的外部環(huán)境信息和內(nèi)部經(jīng)營信息，并根據(jù)分析結(jié)果找出企業(yè)管理過程中出現(xiàn)的各種問題和可能引起危機(jī)的先兆，對(duì)這些信息進(jìn)行分析和處理，以便識(shí)別、分析、評(píng)價(jià)和管理危

8、機(jī)。數(shù)據(jù)挖掘的功能數(shù)據(jù)挖掘的功能數(shù)據(jù)挖掘通過預(yù)測(cè)未來趨勢(shì)及行為，做出前攝的、基于知識(shí)的決策。數(shù)據(jù)挖掘的目標(biāo)是從數(shù)據(jù)庫中發(fā)現(xiàn)隱含的、有意義的知識(shí)，主要有以下五類功能。1、自動(dòng)預(yù)測(cè)趨勢(shì)和行為、自動(dòng)預(yù)測(cè)趨勢(shì)和行為數(shù)據(jù)挖掘自動(dòng)在大型數(shù)據(jù)庫中尋找預(yù)測(cè)性信息，以往需要進(jìn)行大量手工分析的問題如今可以迅速直接由數(shù)據(jù)本身得出結(jié)論。一個(gè)典型的例子是市場(chǎng)預(yù)測(cè)問題，數(shù)據(jù)挖掘使用過去有關(guān)促銷的數(shù)據(jù)來尋找未來投資中回報(bào)最大的用戶，其它可預(yù)測(cè)的問題包括預(yù)報(bào)破產(chǎn)以及認(rèn)

9、定對(duì)指定事件最可能作出反應(yīng)的群體。2、關(guān)聯(lián)分析、關(guān)聯(lián)分析數(shù)據(jù)關(guān)聯(lián)是數(shù)據(jù)庫中存在的一類重要的可被發(fā)現(xiàn)的知識(shí)。若兩個(gè)或多個(gè)變量的取值之間存在某種規(guī)律性，就稱為關(guān)聯(lián)。關(guān)聯(lián)可分為簡(jiǎn)單關(guān)聯(lián)、時(shí)序關(guān)聯(lián)、因果關(guān)聯(lián)。關(guān)聯(lián)分析的目的是找出數(shù)據(jù)庫中隱藏的關(guān)聯(lián)網(wǎng)。有時(shí)并不知道數(shù)據(jù)庫中數(shù)據(jù)的關(guān)聯(lián)函數(shù)，即使知道也是不確定的，因此關(guān)聯(lián)分析生成的規(guī)則帶有可信度。3、聚類、聚類數(shù)據(jù)庫中的記錄可被化分為一系列有意義的子集，即聚類。聚類增強(qiáng)了人們對(duì)客觀現(xiàn)實(shí)的認(rèn)識(shí)，是概念描