google核心技術(shù)

1、本篇將主要介紹Google的十個(gè)核心技術(shù)，而且可以分為四大類：1.1.分布式基礎(chǔ)設(shè)施：GFS，Chubby和ProtocolBuffer。2.分布式大規(guī)模數(shù)據(jù)處理：MapReduce和Sawzall。3.分布式數(shù)據(jù)庫(kù)技術(shù)：BigTable和數(shù)據(jù)庫(kù)Sharding。4.數(shù)據(jù)中心優(yōu)化技術(shù)：數(shù)據(jù)中心高溫化，12V電池和服務(wù)器整合。分布式基礎(chǔ)設(shè)施分布式基礎(chǔ)設(shè)施GFSGFS由于搜索引擎需要處理海量的數(shù)據(jù)，所以Google的兩位創(chuàng)始人LarryPa

2、ge和SergeyBrin在創(chuàng)業(yè)初期設(shè)計(jì)一套名為“BigFiles”的文件系統(tǒng)，而GFS（全稱為“GoogleFileSystem”）這套分布式文件系統(tǒng)則是“BigFiles”的延續(xù)。首先，介紹它的架構(gòu)，GFS主要分為兩類節(jié)點(diǎn)：1.1.Master節(jié)點(diǎn)：主要存儲(chǔ)與數(shù)據(jù)文件相關(guān)的元數(shù)據(jù)，而不是Chunk（數(shù)據(jù)塊）。元數(shù)據(jù)包括一個(gè)能將64位標(biāo)簽映射到數(shù)據(jù)塊的位置及其組成文件的表格，數(shù)據(jù)塊副本位置和哪個(gè)進(jìn)程正在讀寫(xiě)特定的數(shù)據(jù)塊等。還有Mast

3、er節(jié)點(diǎn)會(huì)周期性地接收從每個(gè)Chunk節(jié)點(diǎn)來(lái)的更新（”Heartbeat”）來(lái)讓元數(shù)據(jù)保持最新?tīng)顟B(tài)。2.Chunk節(jié)點(diǎn)：顧名思義，肯定用來(lái)存儲(chǔ)Chunk，數(shù)據(jù)文件通過(guò)被分割為每個(gè)默認(rèn)大小為64MB的Chunk的方式存儲(chǔ)，而且每個(gè)Chunk有唯一一個(gè)64位標(biāo)簽，并且每個(gè)Chunk都會(huì)在整個(gè)分布式系統(tǒng)被復(fù)制多次，默認(rèn)為3次。下圖就是GFS的架構(gòu)圖：現(xiàn)在Google內(nèi)部至少運(yùn)行著200多個(gè)GFS集群，最大的集群有幾千臺(tái)服務(wù)器，并且服務(wù)于多個(gè)G

4、oogle服務(wù)，比如Google搜索。但由于GFS主要為搜索而設(shè)計(jì)，所以不是很適合新的一些Google產(chǎn)品，比YouTube、Gmail和更強(qiáng)調(diào)大規(guī)模索引和實(shí)時(shí)性的Caffeine搜索引擎等，所以Google已經(jīng)在開(kāi)發(fā)下一代GFS，代號(hào)為“Colossus”，并且在設(shè)計(jì)方面有許多不同，比如：支持分布式Master節(jié)點(diǎn)來(lái)提升高可用性并能支撐更多文件，chunk節(jié)點(diǎn)能支持1MB大小的chunk以支撐低延遲應(yīng)用的需要。ChubbyChubby

5、簡(jiǎn)單的來(lái)說(shuō)，Chubby屬于分布式鎖服務(wù)，通過(guò)Chubby，一個(gè)分布式系統(tǒng)中的上千個(gè)client都能夠?qū)τ谀稠?xiàng)資源進(jìn)行“加鎖”或者“解鎖”，常用于BigTable的協(xié)作工作，在實(shí)現(xiàn)方面是通過(guò)對(duì)文件的創(chuàng)建操作來(lái)實(shí)現(xiàn)“加鎖”，并基于著名科學(xué)家LeslieLampt的Paxos算法。ProtocolProtocolBufferBufferProtocolBuffer，是Google內(nèi)部使用一種語(yǔ)言中立，平臺(tái)中立和可擴(kuò)展的序列化結(jié)構(gòu)化數(shù)據(jù)的方式

6、，并提供java、c和python這三種語(yǔ)言的實(shí)現(xiàn)，每一種實(shí)現(xiàn)都包含了相應(yīng)語(yǔ)言的編譯器以及庫(kù)文件，而且它是一種二進(jìn)制的格式，所以其速度是使用xml進(jìn)行數(shù)據(jù)交換的10倍左右。它主要用于兩個(gè)方面：其一是RPC通信，它可用于分布式應(yīng)用之間或者異構(gòu)環(huán)境下的通信。其二是數(shù)據(jù)存儲(chǔ)方面，因?yàn)樗悦枋?，而且壓縮很方便，所以可用于對(duì)數(shù)據(jù)進(jìn)行持久化，比如存儲(chǔ)日志信息，并可被MapReduce程序處理。與ProtocolBuffer比較類似的產(chǎn)品還有Face

7、book的Thrift，而且Facebook號(hào)稱Thrift在速度上還有一定的優(yōu)勢(shì)。分布式大規(guī)模數(shù)據(jù)處理分布式大規(guī)模數(shù)據(jù)處理MapReduceMapReduce首先，在Google數(shù)據(jù)中心會(huì)有大規(guī)模數(shù)據(jù)需要處理，比如被網(wǎng)絡(luò)爬蟲(chóng)（WebCrawler）抓取的大量網(wǎng)頁(yè)等。由于這些數(shù)據(jù)很多都是PB級(jí)別，導(dǎo)致處理工作不得不盡可能的并行化，而Google為了解決這個(gè)問(wèn)題，引入了MapReduce這個(gè)編程模型，MapReduce是源自函數(shù)式語(yǔ)言，主