大數(shù)據(jù)平臺(tái)技術(shù)框架選型分析

1、大數(shù)據(jù)平臺(tái)框架選型分析大數(shù)據(jù)平臺(tái)框架選型分析一、一、需求需求城市大數(shù)據(jù)平臺(tái)，首先是作為一個(gè)數(shù)據(jù)管理平臺(tái)，核心需求是數(shù)據(jù)的存和取，然后因?yàn)楹Ａ繑?shù)據(jù)、多數(shù)據(jù)類(lèi)型的信息需要有豐富的數(shù)據(jù)接入能力和數(shù)據(jù)標(biāo)準(zhǔn)化處理能力，有了技術(shù)能力就需要縱深挖掘附加價(jià)值更好的服務(wù)，如信息統(tǒng)計(jì)、分析挖掘、全文檢索等，考慮到面向的客戶對(duì)象有的是上層的應(yīng)用集成商，所以要考慮靈活的數(shù)據(jù)接口服務(wù)來(lái)支撐。二、二、平臺(tái)產(chǎn)品業(yè)務(wù)流程平臺(tái)產(chǎn)品業(yè)務(wù)流程3需要對(duì)選型平臺(tái)自身所包含的核心

2、功能有較為深入的理解，易用其API或基于源碼開(kāi)發(fā)4商業(yè)服務(wù)性價(jià)比高，并有空間脫離第三方商業(yè)技術(shù)服務(wù)5一些非功能性需求的條件標(biāo)準(zhǔn)清晰，如承載的集群節(jié)點(diǎn)、處理數(shù)據(jù)量及安全機(jī)制等五、五、選型需要考慮選型需要考慮簡(jiǎn)單性簡(jiǎn)單性：親自試用大數(shù)據(jù)套件。這也就意味著：安裝它，將它連接到你的Hadoop安裝，集成你的不同接口（文件、數(shù)據(jù)庫(kù)、B2B等等），并最終建模、部署、執(zhí)行一些大數(shù)據(jù)作業(yè)。自己來(lái)了解使用大數(shù)據(jù)套件的容易程度——僅讓某個(gè)提供商的顧問(wèn)來(lái)為你

3、展示它是如何工作是遠(yuǎn)遠(yuǎn)不夠的。親自做一個(gè)概念驗(yàn)證。廣泛性廣泛性：是否該大數(shù)據(jù)套件支持廣泛使用的開(kāi)源標(biāo)準(zhǔn)——不只是Hadoop和它的生態(tài)系統(tǒng)，還有通過(guò)SOAP和RESTweb服務(wù)的數(shù)據(jù)集成等等。它是否開(kāi)源，并能根據(jù)你的特定問(wèn)題易于改變或擴(kuò)展？是否存在一個(gè)含有文檔、論壇、博客和交流會(huì)的大社區(qū)？特性特性：是否支持所有需要的特性？Hadoop的發(fā)行版本（如果你已經(jīng)使用了某一個(gè)）？你想要使用的Hadoop生態(tài)系統(tǒng)的所有部分？你想要集成的所有接口、

4、技術(shù)、產(chǎn)品？請(qǐng)注意過(guò)多的特性可能會(huì)大大增加復(fù)雜性和費(fèi)用。所以請(qǐng)查證你是否真正需要一個(gè)非常重量級(jí)的解決方案。是否你真的需要它的所有特性？陷阱陷阱：請(qǐng)注意某些陷阱。某些大數(shù)據(jù)套件采用數(shù)據(jù)驅(qū)動(dòng)的付費(fèi)方式（“數(shù)據(jù)稅”），也就是說(shuō)，你得為自己處理的每個(gè)數(shù)據(jù)行付費(fèi)。因?yàn)槲覀兪窃谡務(wù)摯髷?shù)據(jù)，所以這會(huì)變得非常昂貴。并不是所有的大數(shù)據(jù)套件都會(huì)生成本地ApacheHadoop代碼，通常要在每個(gè)Hadoop集群的服務(wù)器上安裝一個(gè)私有引擎，而這樣就會(huì)解除對(duì)于軟