摘要：Google將其數(shù)據(jù)中心技術(shù)作為一個(gè)核心競(jìng)爭(zhēng)力，很少對(duì)外公布其技術(shù)細(xì)節(jié)，因此搜索巨人的數(shù)據(jù)中心一直是個(gè)謎。近日，谷歌公布了其數(shù)據(jù)中心能耗發(fā)展的圖表，在圖表中顯示近年來谷歌在能耗控制方面有了明顯的進(jìn)步。

在2010年第一季度，谷歌新建的數(shù)據(jù)中心綜合電力使用效率為1.16(PUE)，其中一個(gè)數(shù)據(jù)中心的PUE值達(dá)到了1.09。從公布的這些圖表中，在縱向上我們可以看到Google在全球各地的多個(gè)數(shù)據(jù)中心PUE控制都已經(jīng)達(dá)到非常高的水平;在橫向上看曲線整體傾斜向下，說明還是個(gè)逐步改進(jìn)、不斷優(yōu)化的精細(xì)化運(yùn)營(yíng)調(diào)優(yōu)過程。這些圖表的另一個(gè)顯著特點(diǎn)是各個(gè)數(shù)據(jù)中心的PUE值隨著時(shí)間軸，不管是在不同的季節(jié)，還是在一天的不同時(shí)間點(diǎn)上都表現(xiàn)出較大的波動(dòng)性，說明Google數(shù)據(jù)中心的自然冷水平非常高。結(jié)合室外自然環(huán)境溫度，盡量利用外界冷源帶走熱量，能不開啟機(jī)械制冷就不啟動(dòng)。在散熱方面只給夠用的冷量，絕不浪費(fèi)。

左：Google多個(gè)數(shù)據(jù)中心的多年P(guān)UE曲線

右：Google某一數(shù)據(jù)中心的日PUE曲線

本文針對(duì)Google數(shù)據(jù)中心的這些特點(diǎn)，將介紹Google位于歐洲的三個(gè)不同實(shí)現(xiàn)自然冷卻方式的機(jī)房，這些機(jī)房都實(shí)現(xiàn)了100%自然冷卻，都是沒有chiller(制冷機(jī)組)的典型應(yīng)用案例，分別是比利時(shí)水側(cè)自然冷數(shù)據(jù)中心、愛爾蘭空氣側(cè)自然冷數(shù)據(jù)中心和芬蘭海水直接冷卻數(shù)據(jù)中心。

當(dāng)然本文提到的這些數(shù)據(jù)中心技術(shù)和機(jī)房所在當(dāng)?shù)氐臍夂?、政策、資源等相關(guān)，且屬于完全定制的數(shù)據(jù)中心，不好為國(guó)內(nèi)直接移植和借用，但思路和創(chuàng)新精神非常值得國(guó)內(nèi)同行學(xué)習(xí)借鑒。

比利時(shí)數(shù)據(jù)中心

Google比利時(shí)的數(shù)據(jù)中心位于Saint -Ghislain，該數(shù)據(jù)中心的第一階段在2008年初投入，并于2011年Q1完成全部階段設(shè)計(jì)。2011年Q1的PUE可以低達(dá)1.09，而全年平均PUE可達(dá)到1.11。該數(shù)據(jù)中心采用蒸發(fā)冷卻系統(tǒng)，從附近的工業(yè)運(yùn)河抽取用水?！拔覀?cè)O(shè)計(jì)并制作了一個(gè)站內(nèi)的水處理廠，”Kava說道，“這樣我們就不用使用供應(yīng)城市的可飲用水”。該數(shù)據(jù)中心利用運(yùn)河的冷水來帶走熱量，并自己修建水處理廠，再將處理后的運(yùn)河水給數(shù)據(jù)中心提供冷量，只采用冷卻塔來散熱，無chiller，實(shí)現(xiàn)了100%水側(cè)自然冷機(jī)房，是谷歌的第一個(gè)完全自然冷卻的數(shù)據(jù)中心。

距離數(shù)據(jù)中心大約400米外的工業(yè)運(yùn)河，Google建設(shè)了現(xiàn)場(chǎng)的水處理工廠，直接從運(yùn)河中抽取河水。由于運(yùn)河的水質(zhì)比較糟糕，必須過濾處理并凈化到工業(yè)用水標(biāo)準(zhǔn)，但Google也不會(huì)將河水過濾處理到非常干凈的水平，只要可用于制冷散熱即可。然后用水泵將凈化后的冷水輸送到模塊化儲(chǔ)冷大水罐，再供給到各個(gè)冷卻塔，用于后續(xù)蒸發(fā)冷卻。這個(gè)過程結(jié)果不僅冷卻了服務(wù)器，還清潔了水源，當(dāng)?shù)氐牟块L(zhǎng)也稱贊Google說這是一次雙贏的合作。

整個(gè)水處理廠的污水處理過程如下圖所示：

Google在比利時(shí)的數(shù)據(jù)中心中采用了模塊化的無chiller自然冷卻系統(tǒng)，通過下圖中的熱交換器熱交換原理，將室內(nèi)的熱量通過存于水箱中溫度較低的、處理過的運(yùn)河水從冷卻塔帶走，實(shí)現(xiàn)無需機(jī)械制冷的目的。

比利時(shí)的氣候幾乎可以全年支持免費(fèi)的冷卻，平均每年只有7天氣溫不符合免費(fèi)冷卻系統(tǒng)的要求。Kava指出，機(jī)房溫度不需要像以前那樣低。在2008年的時(shí)候，美國(guó)加熱冷凍及空調(diào)工程師協(xié)會(huì)(ASHRAE)建議數(shù)據(jù)中心的溫度應(yīng)保持在20到25攝氏度之間--但Google建議將其保持在27度以上?！皹?gòu)建一個(gè)高效的數(shù)據(jù)中心的第一步就是簡(jiǎn)單的提高它的溫度，”Kava說，“機(jī)器、服務(wù)器、存儲(chǔ)陣列、任何東西在比一般數(shù)據(jù)中心保持的溫度高的多的地方都能很好的運(yùn)行。對(duì)我而言，任何數(shù)據(jù)中心在18或20攝氏度以下運(yùn)行都是相當(dāng)可笑的。”

在比利時(shí)這里，有時(shí)候會(huì)熱的連服務(wù)器都不能運(yùn)行，這時(shí) Google 就會(huì)將這里的工作移交給其他數(shù)據(jù)中心負(fù)責(zé)。Kava沒有給出任何細(xì)節(jié)，但他表示這種數(shù)據(jù)中心之間的工作交接涉及到一個(gè)叫做Spanner的軟件平臺(tái)。這個(gè)Google設(shè)計(jì)的平臺(tái)曾在 2009 年 10 月的一個(gè)談?wù)摃?huì)上有所提及，但是這是Google第一次公開確認(rèn)Spanner確實(shí)有在使用。

根據(jù)Google在2009年的討論會(huì)上的陳述，Spanner是一個(gè)“存儲(chǔ)及計(jì)算系統(tǒng)，遍及他們所有的數(shù)據(jù)中心，并基于限制及使用特點(diǎn)來自動(dòng)轉(zhuǎn)移和增加數(shù)據(jù)和計(jì)算的副本。”這包括涉及帶寬、丟包率、能源、資源及”失敗模式“--比如當(dāng)數(shù)據(jù)中心內(nèi)部出現(xiàn)錯(cuò)誤的時(shí)候。

愛爾蘭數(shù)據(jù)中心

Google愛爾蘭的數(shù)據(jù)中心位于都柏林，由于是已有退役建筑--市長(zhǎng)大廈翻新改造而成的，由于Google在歐洲沒有足夠的運(yùn)維人員，所以希望將該數(shù)據(jù)中心設(shè)計(jì)成空氣檢測(cè)的自然冷卻機(jī)房。該數(shù)據(jù)中心實(shí)現(xiàn)了100%的空氣檢測(cè)自然冷卻，采用直接蒸發(fā)制冷技術(shù)，并且定制了個(gè)熱回收單元，全部工程完成于2010年上半年，是Google在歐洲的第二個(gè)無chiller數(shù)據(jù)中心。

都柏林具有非常好的氣候條件，一年絕大多數(shù)時(shí)間天氣都非常不錯(cuò)，由于該數(shù)據(jù)中心受已有建筑結(jié)構(gòu)和散熱供水等的限制，沒法安裝大型的冷卻塔，因此采用了模塊化的AHU方案。

從室外取自然空氣送入到混風(fēng)室跟機(jī)房?jī)?nèi)回風(fēng)混合，經(jīng)過濾和加濕等環(huán)節(jié)，用AHU風(fēng)扇送到直接蒸發(fā)盤管進(jìn)行冷卻，最后通過送風(fēng)管道進(jìn)入機(jī)房。進(jìn)入機(jī)房的冷空氣經(jīng)IT設(shè)備加熱后，采用熱通道封閉方案隔離熱氣流，部分參與回風(fēng)，部分則直接排放到室外。直接蒸發(fā)制冷技術(shù)在夏天用于調(diào)峰，比如在高溫天氣冷卻室外熱空氣，也可以在干燥的冬天用于機(jī)房濕度調(diào)節(jié)。

芬蘭海水制冷數(shù)據(jù)中心

在2009年的二月份，Google耗資5200萬美元購買了一座位于芬蘭Hamina(哈米納)的廢棄的造紙廠，他們認(rèn)為這座擁有56年歷史的建筑是建設(shè)其眾多服務(wù)于大量網(wǎng)絡(luò)服務(wù)的大規(guī)模計(jì)算設(shè)施之一的理想場(chǎng)所。Google和DLB公司一起將其進(jìn)行改造設(shè)計(jì)成數(shù)據(jù)中心，目前已經(jīng)完成第一階段的測(cè)試和運(yùn)行。

這個(gè)數(shù)據(jù)中心的獨(dú)特之處在于采用了100%的海水散熱。Google利用該造紙廠已有建筑，包括造紙廠原有水下通道，并采用模塊化制冷單元和閉式的內(nèi)循環(huán)冷凍水(淡水)對(duì)開式的外循環(huán)冷卻水(海水)的熱交換器傳熱，然后將升溫后的海水送到室外的溫度調(diào)節(jié)房，這個(gè)房間的主要作用是將送出的熱水和進(jìn)入的新鮮海水進(jìn)行混合。在回到海中之前，Google會(huì)用更多的海水來冷卻它?！爱?dāng)我們將水排出到海灣的時(shí)候，它的溫度和灣內(nèi)海水溫度會(huì)很相似，”Kava說，“這就將對(duì)環(huán)境的影響降低到最小?！彪m然這個(gè)數(shù)據(jù)中心供回水的Delta T和取得的PUE值Google暫時(shí)沒有透露，但相信應(yīng)該是非常低的水平。

根據(jù)Kava所說，公司的環(huán)境許可并沒有要求控制水溫。“這讓我自己感覺很好，”他說，“我們不是只做我們被要求做的。我們?nèi)プ瞿切┪覀冋J(rèn)為對(duì)的事情?！边@是一個(gè)關(guān)于Google很平常的消息。但是Kava指出那些ISO認(rèn)證說明這家公司正在不斷努力達(dá)到它的目標(biāo)?！爱?dāng)局者迷，局外者清。這時(shí)第三方的加入就非常必要?！?/p>

當(dāng)然采用海水來散熱有很多技術(shù)上的挑戰(zhàn)，需要做熱仿真，包括各個(gè)季節(jié)海水的不同溫度、水垢帶來的影響，以及海水對(duì)管路的腐蝕性等。比如在Hamina數(shù)據(jù)中心中Google采用了玻璃纖維材料的水管(上圖中乳白色管道)用于防止海水腐蝕，并在熱交換器上采用了鍍鈦的板換疊片等技術(shù)。雖然這些技術(shù)在數(shù)據(jù)中心行業(yè)中也許還比較新，但海水散熱在其他行業(yè)中也有較多應(yīng)用，因此可以從相關(guān)行業(yè)學(xué)習(xí)這些經(jīng)驗(yàn)和教訓(xùn)。

為了保障設(shè)計(jì)可行，在概念設(shè)計(jì)階段Google做了很多熱仿真工作。采用CFD技術(shù)，驗(yàn)證了風(fēng)向和風(fēng)強(qiáng)等對(duì)海水溫度的影響，以及不同時(shí)間海水的潮汐效應(yīng)。另外還需要考慮芬蘭灣水位高低，海水溫度變化和鹽度大小以及海藻等對(duì)機(jī)房散熱的影響。Google還根據(jù)該地區(qū)過去三十年海水溫度的數(shù)據(jù)，來確定管道從哪里取水和哪里排水，以及進(jìn)出水口安裝水面下面多深的地方等。

采用海水來冷卻還有一些需要考慮的地方，由于不好直接采用化學(xué)過濾等，因此海水換熱器的設(shè)計(jì)就非常關(guān)鍵了。Google在Hamina的設(shè)計(jì)中采用了四重的海水過濾系統(tǒng)，分別是粗效過濾、沿途過濾、藥劑過濾和高效過濾器環(huán)節(jié)，并為了長(zhǎng)期維護(hù)方便現(xiàn)場(chǎng)建設(shè)了可更換的CIP(clean in place)過濾環(huán)節(jié)。

此外還有需要注意的地方是大型海水冷卻泵的水擊(water hammer)作用導(dǎo)致的損壞，該損壞主要來自閥門快速關(guān)閉時(shí)對(duì)管路帶來的強(qiáng)烈沖擊，產(chǎn)生的原因是關(guān)閉閥門后水被抽走導(dǎo)致的管內(nèi)真空，從而管內(nèi)外壓力差很大。而用于防止海水腐蝕采用的玻璃纖維材料的水管強(qiáng)度不夠高，在水擊發(fā)生時(shí)的壓力下容易造成管路爆裂，為此Google專門設(shè)計(jì)了個(gè)空氣輸入閥門，來控制壓力差變化并緩沖其帶來的沖擊。

總之海水冷卻并不適合于所有人，設(shè)計(jì)中需要專業(yè)的工程學(xué)知識(shí)和技術(shù)，需要考慮很多東西，并且前期投入較大，因此對(duì)于小規(guī)模的數(shù)據(jù)中心建設(shè)并不劃算，但應(yīng)用在大體量的數(shù)據(jù)中心會(huì)帶來非常多的益處?！皩?duì)于某些規(guī)模較小的數(shù)據(jù)中心運(yùn)營(yíng)商/用戶來說，(新型海水冷卻系統(tǒng))可能不具有經(jīng)濟(jì)效益，但它卻有社會(huì)效益。它可以提供一個(gè)可靠的熱源--芬蘭海灣每年都會(huì)結(jié)凍，”Kava說道。還有，海水由于常年溫度變化小且可預(yù)計(jì)，是非常穩(wěn)定可靠的冷源，且可以幾乎沒有傳統(tǒng)空調(diào)水系統(tǒng)帶來的水消耗問題，并可以得到非常低的PUE值。

綜上所述，谷歌的三個(gè)數(shù)據(jù)中心采用了完全不一樣的方式，但都實(shí)現(xiàn)了100%的自然冷卻，達(dá)到了高效率的制冷方式，并實(shí)現(xiàn)了簡(jiǎn)單可靠的設(shè)計(jì)。因此自然冷卻可以有很多種方式，且沒有絕對(duì)的優(yōu)劣。實(shí)現(xiàn)方式和當(dāng)?shù)氐母鞣N條件關(guān)系非常大，比如地理位置、氣候等，因此不要局限于某一種固定的解決方案，而應(yīng)該考慮長(zhǎng)期的TCO。

來源：網(wǎng)絡(luò)

本文標(biāo)題：Google全球三大數(shù)據(jù)中心自然冷卻方案剖析

本文鏈接：http://www.yangziriver.cn/faq3/626.html
[版權(quán)聲明]除非特別標(biāo)注，否則均為本站原創(chuàng)文章，轉(zhuǎn)載時(shí)請(qǐng)以鏈接形式注明文章出處。