大數(shù)據(jù)平臺(tái)技術(shù)框架選型資料

1、大數(shù)據(jù)平臺(tái)框架選型分析 大數(shù)據(jù)平臺(tái)框架選型分析一、需求 一、需求城市大數(shù)據(jù)平臺(tái)， 首先是作為一個(gè)數(shù)據(jù)管理平臺(tái)， 核心需求是數(shù)據(jù)的存和取，然后因?yàn)楹Ａ繑?shù)據(jù)、 多數(shù)據(jù)類型的信息需要有豐富的數(shù)據(jù)接入能力和數(shù)據(jù)標(biāo)準(zhǔn)化處理能力，有了技術(shù)能力就需要縱深挖掘附加價(jià)值更好的服務(wù)，如信息統(tǒng)計(jì)、分析挖掘、全文檢索等，考慮到面向的客戶對(duì)象有的是上層的應(yīng)用集成商，所以要考慮靈活的數(shù)據(jù)接口服務(wù)來支撐。二、平臺(tái)產(chǎn)品業(yè)務(wù)流程 二、平臺(tái)產(chǎn)品業(yè)務(wù)流程3．需要對(duì)選型平臺(tái)自

2、身所包含的核心功能有較為深入的理解，易用其 API 或基于源碼開發(fā)4．商業(yè)服務(wù)性價(jià)比高，并有空間脫離第三方商業(yè)技術(shù)服務(wù)5．一些非功能性需求的條件標(biāo)準(zhǔn)清晰，如承載的集群節(jié)點(diǎn)、處理數(shù)據(jù)量及安全機(jī)制等五、選型需要考慮 五、選型需要考慮簡單性 簡單性：親自試用大數(shù)據(jù)套件。這也就意味著：安裝它，將它連接到你的Hadoop 安裝，集成你的不同接口（文件、數(shù)據(jù)庫、B2B 等等），并最終建模、部署、執(zhí)行一些大數(shù)據(jù)作業(yè)。自己來了解使用大數(shù)據(jù)套件的容易程度

3、——僅讓某個(gè)提供商的顧問來為你展示它是如何工作是遠(yuǎn)遠(yuǎn)不夠的。親自做一個(gè)概念驗(yàn)證。廣泛性 廣泛性：是否該大數(shù)據(jù)套件支持廣泛使用的開源標(biāo)準(zhǔn)——不只是 Hadoop 和它的生態(tài)系統(tǒng)，還有通過 SOAP 和 REST web 服務(wù)的數(shù)據(jù)集成等等。它是否開源，并能根據(jù)你的特定問題易于改變或擴(kuò)展？是否存在一個(gè)含有文檔、論壇、博客和交流會(huì)的大社區(qū)？特性 特性：是否支持所有需要的特性？ Hadoop 的發(fā)行版本（如果你已經(jīng)使用了某一個(gè)）？你想要使用的

4、Hadoop 生態(tài)系統(tǒng)的所有部分？你想要集成的所有接口、技術(shù)、產(chǎn)品？請(qǐng)注意過多的特性可能會(huì)大大增加復(fù)雜性和費(fèi)用。所以請(qǐng)查證你是否真正需要一個(gè)非常重量級(jí)的解決方案。是否你真的需要它的所有特性？陷阱 陷阱：請(qǐng)注意某些陷阱。某些大數(shù)據(jù)套件采用數(shù)據(jù)驅(qū)動(dòng)的付費(fèi)方式（ “數(shù)據(jù)稅”），也就是說，你得為自己處理的每個(gè)數(shù)據(jù)行付費(fèi)。因?yàn)槲覀兪窃谡務(wù)摯髷?shù)據(jù)，所以這會(huì)變得非常昂貴。 并不是所有的大數(shù)據(jù)套件都會(huì)生成本地 Apache Hadoop 代碼， 通常要