谷歌在過去10年中一直在建設自己的數據中心。搜索巨頭的數據中心非常高效,利用了可再生能源,并盡可能保護環境。目前Google依舊大舉投資數據中心,最近三個月投資了16億美金,不得不說科技真的是第一生產力。
其實,很多年來,谷歌都有其獨特的建造標準,比如說當地是否有良好的勞動力資源,又或者有沒有一個強大的電網接入能力,這可能是一個很關鍵的資格審核標準。最近谷歌還增加了綠色問題考量的比重,比如說谷歌會考慮當地有沒有提供可再生的能源供應的能力。
谷歌運營副總裁Joe Kava表示,在谷歌的理念中,長期效益不僅僅是指谷歌如何使用電力來供應服務器,如何更快速的設計和建造數據中心同樣也非常重要。他指出,位于喬治亞州的數據中心歷時16個月完工,而不是耗費2到3年的時間。谷歌已經建立了一整套設計和建造數據中心的標準流程。谷歌通過模塊化、低成本的設計來縮短數據中心的交付周期。
6年前,谷歌在亞特蘭大建設一處數據中心耗費了16個月時間。目前,在大樓建好之后,谷歌通常只需要不到1年時間來完成數據中心的建設。因此除了技術領先之外,我們還經常感嘆于國外互聯網公司快速的數據中心設計建設交付能力。相比之下,國內大規模數據中心從規劃設計到建成投產,整個周期往往長達2到3年。對于快速變化的互聯網行業,很多業務可能在不到一年內就爆發,或者說等機房建好之后就早已消亡,因此時間就是生命,效率就是金錢,兩三年的數據中心建設時間是不能接受的,因此非常有必要研究一下國外這些領先公司的數據中心建設方法,以滿足業務多變和快速需求的能力。本文謹以谷歌數據中心的特點以及建設方法做些最粗淺的分析,純屬拋磚引玉,目的在于讓更多同行來研究進步。
一、建筑布局篇
圖1是谷歌比利時數據中心的全景圖,這是一個較為典型的谷歌特色數據中心,從空中俯視看到的龐大體量和氤氳升騰的水汽,絕對會讓人聯想到現代化的超級信息處理工廠,或者說全力巡航的超級信息航母,雖然用航母來比喻不太恰當。但正是這些散布在全球的超級數據中心,通過谷歌全球光纖和Spanner調度系統連接在一起成為超級航母戰斗群。據統計目前發送給和發送自谷歌服務器的流量如今占到了全美互聯網總流量的四分之一,全球月獨立訪問用戶數超過10億,成為全球互聯網行業的超級巨擘。
從前面的照片上看,谷歌的數據中心建筑結構非常簡單,主體機房為寬而矮的單層或者雙層建筑結構,船體的中后兩艙為兩個長寬形主體機房模塊;船頭為機房配套的功能區域,如安保辦公、設備拆包、接入弱電等;船體左側為模塊化變配電柴發區域,船體右側是模塊化空調散熱儲水區域,水電分區,兩翼作為巡洋艦和護衛艦等保障航空母艦的穩定可靠運行。
由于建筑建構非常簡單,因此機樓主體建筑的建設時間也可以大大縮短,特別是采用了框架式大開間結構,以及整體墻板拼接模式,機房框架的建設時間非常短,只有不到兩個月的時間即可完成。大開間結構和墻板拼接模式不但建設進度快,而且建筑材料可回收利用更為綠色環保,此外也便于大型設備搬遷進出機房區域等,更為適合大型數據中心建設模式。我們一起來回顧一下2007年始建的Google Iowa州數據中心的一些施工圖片,2007年6月,Google在 Iowa 州 Council Bluffs 的數據中心啟動建設,經過平整土地和簡易樁基搭建起了如圖2(a)的數據中心支撐框架,再經過圖2(b)中的工廠預制整體墻板吊裝拼接,以及其他道路防護等工程,整體機房建筑經過7個周多的施工,即可完工。
機房主體建設的同時或者稍后,同步開展的還有機房兩翼的機電支撐設備安裝,前面我們提到了谷歌采用模塊化的供電和散熱模塊,因此其機電工程建設也可以采用模塊化分期按需建設。供電方面,通過室外型的變壓器和配電柜以及集裝箱柴油發電機,按模塊分期建設。散熱方面,采用雙層鋼結構框架,如圖3(a)空調系統建設過程和圖3(b)竣工階段的照片可以看出,鋼結構上層用于安裝冷卻塔,下層用于分布式儲水罐,同樣可采用模塊化分期按需建設。由于谷歌機房多選址于氣候涼爽電費便宜的偏遠地區,土地也較為便宜,因此建筑容積率不是很大問題,但因國情不同,國內市區的多層建筑結構機房則難以采用此模式。
介紹完了機房外景,谷歌Council Bluffs數據中心的內景則如圖4所示,一萬多平方米的偌大機房空間內密布著無數的IT機柜和服務器,以及頂部的供配電母線槽和架空地板下的冷凍水供水管,服務器散熱則由機柜熱通道頂部的置頂空調盤管完成。由于該數據中心只是單層建筑結構,整個機房大空間作為冷通道,除了部分支撐柱和少量功能間之外,基本沒有其他物理分隔。采用水消防技術沒有傳統機房的氣體分區限制,市電直供和母線槽技術也消除了傳統機房的專用電力和電池室需求,采用空調置頂散熱技術則不用傳統機房兩側的精密空調房,還有變配電和柴發外置以及冷凍站專門區域布置,使得機房空間內變得非常簡潔。這些具體的技術實現,先按下不表,后面會再詳細展開。
由于機房建筑結構非常簡單,且大型機電設備大多外置,因此谷歌數據中心內的空間利用率很高,可以把很大部分的地板空間用于擺放IT機柜,因此每機柜容積比很低,大大提升了機房內的空間利用率。圖5是國內外部分數據中心的機房空間利用效率對比數據,可以看到谷歌數據中心內的空間利用方面有很大的優勢。