前段時(shí)間谷歌公司第一次允許媒體記者進(jìn)入其位于美國(guó)和歐洲地區(qū)的數(shù)據(jù)中心進(jìn)行訪問(wèn)與拍照，并公布了一批其數(shù)據(jù)中心的照片。通過(guò)照片，人們可以看到谷歌數(shù)據(jù)中心里面整齊地?cái)[放著成千上萬(wàn)臺(tái)服務(wù)器和錯(cuò)綜復(fù)雜而又色彩繽紛的線纜以及冷卻管道。我們?cè)隗@嘆于其數(shù)據(jù)中心精彩的時(shí)候，也清醒認(rèn)識(shí)到谷歌敢公開(kāi)這些圖片，就說(shuō)明他有下一代技術(shù)了，未來(lái)很可能會(huì)進(jìn)一步大幅改變其現(xiàn)有的計(jì)算系統(tǒng)架構(gòu)。谷歌也曾威脅過(guò)說(shuō)“他們的同事看了未來(lái)的架構(gòu)，都很后悔現(xiàn)在的系統(tǒng)”，這說(shuō)明谷歌的新一代數(shù)據(jù)中心架構(gòu)會(huì)有更大更好的改變。針對(duì)這一猜測(cè)，筆者這里通過(guò)其專(zhuān)利的水冷服務(wù)器技術(shù)，權(quán)當(dāng)盲人摸象，做最粗淺分析和最大膽猜測(cè)，和大家分享其尚未公開(kāi)但有可能已在采用的數(shù)據(jù)中心技術(shù)。

圖1 水冷服務(wù)器示意

水冷服務(wù)器其實(shí)也不是個(gè)全新的概念，比如圖 1 是 IBM 聯(lián)合瑞士蘇黎世聯(lián)邦理工學(xué)院共同研發(fā)了一種名叫 Aquasar 的水冷超級(jí)計(jì)算機(jī)，它可以降低 40%以上的能源消耗，減少85%的碳排放，同時(shí)將收集來(lái)的熱能用于建筑上的需求例如地?zé)?。從這個(gè)案例我們可以看到采用水冷服務(wù)器的主要好處是就近帶走熱量可以有很高的節(jié)能效果，同時(shí)大大提高功率密度來(lái)縮小服務(wù)器的尺寸，減少風(fēng)扇噪音，以及容易實(shí)現(xiàn)熱能回收等等好處?；谶@些好處，谷歌早在 2006 年之前就開(kāi)始研究此技術(shù)，并于 2009 年得到其水冷服務(wù)器的專(zhuān)利。谷歌水冷服務(wù)器專(zhuān)利的主要技術(shù)特點(diǎn)是服務(wù)器主板兩兩成對(duì)安裝在散熱片的兩個(gè)外側(cè)，由散熱片內(nèi)流過(guò)溫度較低的冷凍水來(lái)帶走熱量。其中高發(fā)熱的元件，比如 CPU 和南北橋芯片組等靠近散熱片內(nèi)的冷凍水來(lái)安裝，從而發(fā)出的熱量被散熱片內(nèi)的冷凍水就近帶走；而一些發(fā)熱量不高的器件，比如內(nèi)存和硬盤(pán)等則直接安裝在稍遠(yuǎn)離三明治散熱片中心的位置，部分案例中還有服務(wù)器風(fēng)扇或電源風(fēng)扇安裝在某側(cè)的服務(wù)器主板上，用于將內(nèi)存和硬盤(pán)等的熱量帶走。

如圖 2 是谷歌水冷服務(wù)器的側(cè)視圖，其中中間的三明治結(jié)構(gòu)部分為水冷散熱片 114，散熱片的上下表面分別安裝了兩個(gè)服務(wù)器主板 112a 和 112b 以及 CPU、內(nèi)存等發(fā)熱元件。由鋁錠加工壓疊壓而成的散熱片 114 的內(nèi)部有多個(gè)如 122 這樣的冷凍水通孔，用于帶走散熱片吸收的服務(wù)器熱量。散熱片 114 的表面則根據(jù)服務(wù)器器件的發(fā)熱程度還專(zhuān)門(mén)刻蝕出不同深淺的平臺(tái)用于安裝發(fā)熱量不同的器件，比如標(biāo)識(shí)為 116 的 CPU 和標(biāo)識(shí)為 118 的芯片組等高發(fā)熱量器件置于靠近冷凍水供水通道的平臺(tái)，而標(biāo)識(shí)為 120 的內(nèi)存、標(biāo)識(shí)為 124 網(wǎng)絡(luò)和標(biāo)識(shí)為

130 的低發(fā)熱量器件則可置于稍遠(yuǎn)離冷凍水通道的平臺(tái)，部分設(shè)計(jì)中標(biāo)識(shí)為 126 的服務(wù)器風(fēng)扇等還仍然會(huì)用于給服務(wù)器表面的器件散熱，下面會(huì)更為詳細(xì)介紹。

圖2 谷歌水冷服務(wù)器側(cè)視圖

采用這種方式來(lái)散熱有很多好處，比如發(fā)熱量大的器件可以很高效得就近在本地很快被散熱片冷卻，而不像傳統(tǒng)服務(wù)器發(fā)出的熱量散發(fā)到機(jī)房級(jí)，需要通過(guò)機(jī)房級(jí)大風(fēng)扇、冷水機(jī)組、大功率水泵等較高能耗的傳統(tǒng)制冷方式來(lái)實(shí)現(xiàn)，還不用額外冷卻機(jī)房級(jí)大空間環(huán)境內(nèi)的空氣等。由于采用了就近散熱方式，冷凍水就可以不再采用傳統(tǒng)的 7/12 度供水，而供水溫度可以提升到 21 攝氏度以上，基本就不再需要冷水機(jī)組了，大大節(jié)能還可節(jié)省設(shè)備投資。同樣服務(wù)器釋放出來(lái)的發(fā)熱量大大減少，氣流循環(huán)的風(fēng)扇 126 也僅僅可以以較低的速度運(yùn)轉(zhuǎn)，大大節(jié)省服務(wù)器風(fēng)扇的能耗。

圖 3 是谷歌水冷服務(wù)器的俯視圖，主板 201 上有 6 個(gè)標(biāo)識(shí)為 202 的 CPU 及標(biāo)識(shí)為 206的芯片組，中間橫向虛線部分為多根內(nèi)存陣列，以及冷通道側(cè)的網(wǎng)絡(luò)控制器 208 和網(wǎng)絡(luò) RJ45接口 214 等。服務(wù)器的進(jìn)風(fēng)從右側(cè)進(jìn)入，流經(jīng)內(nèi)存及周邊器件，然后被標(biāo)識(shí)為 204 的服務(wù)器電源吸入，服務(wù)器電源的風(fēng)扇 203 既作了電源的散熱風(fēng)扇，同時(shí)還兼做了服務(wù)器的氣流循環(huán)風(fēng)扇，進(jìn)入服務(wù)器的風(fēng)還可以被導(dǎo)風(fēng)板 205 導(dǎo)入到風(fēng)扇內(nèi)，防止冷氣流短路直通。 

圖3 谷歌水冷服務(wù)器的俯視圖

圖 4（a）是服務(wù)器散熱片 114 的內(nèi)部結(jié)構(gòu)圖，包括 302 和 304 這樣的冷凍水通孔，內(nèi)部流經(jīng)的冷媒除了普通冷凍水外，還可以是氟化劑、食用油、乙二醇、液氮等等非導(dǎo)電物質(zhì)。冷凍水從靠近大發(fā)熱量 CPU 側(cè)的 306 口進(jìn)入，帶走大部分熱量后，再?gòu)男“l(fā)熱量的內(nèi)存等附近 308 口流出。實(shí)際應(yīng)用中，服務(wù)器機(jī)架內(nèi)的水泵及閥門(mén)等提供冷凍水給到每套服務(wù)器，比如機(jī)柜內(nèi)的冷凍水配水豎管（類(lèi)似供電的配電 PDU）通過(guò)快速連接軟管（類(lèi)似于供電的電源線）以及每個(gè)服務(wù)器接入水閥門(mén)（類(lèi)似于供電的空開(kāi)）接到每套服務(wù)器的散熱片內(nèi)。冷凍水豎管上級(jí)還有配水單元及供水閥門(mén)（類(lèi)似于供電的配電柜及上級(jí)空開(kāi)）。圖 4（b）是散熱片的更詳細(xì)側(cè)視圖，可以看到散熱片 400 表面上有三個(gè)不同的散熱平臺(tái)層，用于不同發(fā)熱量的器件。散熱片 400 實(shí)際由三層鋁錠 402、404 和 406 壓疊而成，其中中間層的 404 可以為導(dǎo)熱好的金屬材料也可以采用導(dǎo)熱不好的塑料材料等，甚至可以不用 404 層，直接由導(dǎo)熱性好的 402 和 406 壓疊而成。此外 412 作為冷凍水輸入口，而 414 作為冷凍水流出孔。 

圖4（a） 散熱片俯視圖

圖4（b） 散熱片側(cè)視圖

圖 5 是兩個(gè)服務(wù)器機(jī)柜 502a 和 502b 的簡(jiǎn)化圖，兩層導(dǎo)軌的兩套服務(wù)器之間的部分存在一定空隙用于機(jī)柜級(jí)氣流流通，這個(gè)氣流循環(huán)由每套服務(wù)器上安裝的風(fēng)扇來(lái)帶走。由于服務(wù)器上的大部分熱量都被散熱片內(nèi)的冷凍水帶走，風(fēng)扇只用于循環(huán)內(nèi)存和硬盤(pán)等低發(fā)熱器件的部分散熱氣流，因此風(fēng)扇運(yùn)行轉(zhuǎn)速很低功耗也很少。每個(gè)散熱器表面的兩個(gè)服務(wù)器上器件被精心設(shè)計(jì)，以至于服務(wù)器密集堆疊部署時(shí)候，相鄰兩套服務(wù)器上的器件也不會(huì)互相干涉。比如上一套服務(wù)器的底部主板上的器件不會(huì)和下一套服務(wù)器的頂部主板上的器件發(fā)生干涉。同時(shí)每套服務(wù)器頂部主板上的風(fēng)扇可以巧妙地同時(shí)用于本服務(wù)器頂部主板以及上面一套服務(wù)器的底部主板上的器件散熱，即一套服務(wù)器的風(fēng)扇可以同時(shí)用于上下兩個(gè)服務(wù)器主板的散熱。

此外，如前面所述，這里的服務(wù)器風(fēng)扇可能會(huì)單獨(dú)安裝較大的散熱風(fēng)扇，但在谷歌的水冷服務(wù)器應(yīng)用中，因?yàn)閮?nèi)存和硬盤(pán)等需要的散熱功率不大，這些風(fēng)扇很可能只是服務(wù)器電源內(nèi)的散熱風(fēng)扇。通過(guò)這些電源風(fēng)扇的運(yùn)轉(zhuǎn)以及導(dǎo)風(fēng)板設(shè)計(jì)，將內(nèi)存、硬盤(pán)等器件的熱量帶走，同時(shí)兼做服務(wù)器電源的散熱，最后再送到熱通道內(nèi)降溫。由于采用了雙 U 高的大電源風(fēng)扇，可以得到更大的風(fēng)量，在降低了風(fēng)扇轉(zhuǎn)速和風(fēng)扇能耗的同時(shí)，還可以大大降低機(jī)房的噪音，提供更好的現(xiàn)場(chǎng)人員工作環(huán)境，谷歌的機(jī)房也因?yàn)槔渫ǖ谰S護(hù)環(huán)境舒適和機(jī)房低噪聲大空間等考慮和設(shè)計(jì)，也于前幾年通過(guò)了 OHS 職業(yè)健康安全管理體系認(rèn)證。 

圖5 谷歌水冷服務(wù)器機(jī)柜

如前面所述，除了被冷凍水帶走的熱量外，主板上內(nèi)存硬盤(pán)等由電源風(fēng)扇循環(huán)的熱量，在熱通道內(nèi)被熱通道頂部的制冷盤(pán)管重新制冷后，再被機(jī)房級(jí)的大風(fēng)扇引導(dǎo)重新循環(huán)回服務(wù)器的冷通道側(cè)以及現(xiàn)場(chǎng)人員操作通道內(nèi)，最后被服務(wù)器吸入重新開(kāi)始新一輪循環(huán)。通過(guò)適當(dāng)控制機(jī)房級(jí)熱通道內(nèi)的服務(wù)器出風(fēng)溫度以及冷凍水供水溫度，或者控制 IT 設(shè)備級(jí)的水冷服務(wù)器進(jìn)水流量以及服務(wù)器上氣流循環(huán)的風(fēng)扇轉(zhuǎn)速，使得整個(gè)系統(tǒng)高效運(yùn)轉(zhuǎn)在最佳節(jié)能狀態(tài)。 

比如控制服務(wù)器的出風(fēng)溫度，將散發(fā)出來(lái)的熱量有效控制在較小的熱通道內(nèi)，得到較高的置頂空調(diào)盤(pán)管的 delta T 溫差，溫差越大盤(pán)管熱交換效率就更高。且熱氣流不會(huì)和冷氣流混合，就近被冷卻盤(pán)管散熱，風(fēng)扇的功耗也更低。同時(shí)通過(guò)盤(pán)管頂部的機(jī)房級(jí)循環(huán)大風(fēng)扇將冷卻后的空氣重新循環(huán)回機(jī)房的冷通道內(nèi)，整個(gè)機(jī)房環(huán)境作為大的冷通道，不僅提供一個(gè)涼爽的現(xiàn)場(chǎng)運(yùn)維人員工作環(huán)境，同時(shí)還兼作為整個(gè)大冷池用于眾多服務(wù)器的風(fēng)扇故障備份。

圖 6 是機(jī)房某個(gè)剖面示意圖，如前面介紹，整個(gè)機(jī)房環(huán)境是個(gè)大的冷通道，用于如下圖515 的工作人員操作空間，兼做服務(wù)器的進(jìn)風(fēng)側(cè)，實(shí)際圖 6 右側(cè)機(jī)柜的右邊也是有類(lèi)似冷通道用于服務(wù)器的進(jìn)風(fēng)，這里沒(méi)畫(huà)出來(lái)。兩排機(jī)柜間的通道 516 作為熱通道，用于匯集兩側(cè)所有服務(wù)器發(fā)出的熱量（當(dāng)然主要發(fā)熱部分由服務(wù)器內(nèi)部散熱片內(nèi)的冷凍水帶走），熱通道頂部安裝著標(biāo)識(shí)為 514 的置頂盤(pán)管，由風(fēng)扇 512 和盤(pán)管 514 將熱通道 516 內(nèi)的熱量制冷后再釋放到整個(gè)機(jī)房大環(huán)境冷通道內(nèi)。雖然下圖的 512 風(fēng)扇沒(méi)有和 514 盤(pán)管放在一起，專(zhuān)門(mén)做了個(gè)熱吊頂 510，實(shí)際在谷歌的很多案例中 512 風(fēng)扇會(huì)直接安裝在 514 盤(pán)管頂部，不再建設(shè)吊頂層來(lái)減少工程的復(fù)雜度。當(dāng)然盤(pán)管 514 也可以不用直接安裝在熱通道的頂部，比如安裝在機(jī)柜底部等，減少盤(pán)管漏水或者冷凝水等對(duì)服務(wù)器的運(yùn)行風(fēng)險(xiǎn)，總之，可以靈活安裝盤(pán)管和風(fēng)扇的位置，滿足不同的應(yīng)用和風(fēng)險(xiǎn)需求。

圖6 水冷服務(wù)器機(jī)房截面圖

和谷歌的微模塊技術(shù)一樣，谷歌的水冷服務(wù)器機(jī)房沿用了地板下供水的方案，由于需要保持水冷服務(wù)器的水質(zhì)，因此主要通過(guò)板式換熱器 528 來(lái)隔離冷凍水內(nèi)循環(huán)和冷卻水外循環(huán)。513a 和 513b 是機(jī)房級(jí)主供回水管路（類(lèi)似于供電主母排），而 515a 和 515b 為機(jī)柜級(jí)配水供回水管路（類(lèi)似于機(jī)柜供電 PDU），524a 和 524b 為到每個(gè)服務(wù)器的供回水支管（類(lèi)似于電源線），非常類(lèi)似供電系統(tǒng)的供電路徑設(shè)計(jì)。其中 524a 和 524b 為快接軟管，考慮服務(wù)器故障檢修和搬遷等經(jīng)常性維護(hù)操作，用于和服務(wù)器散熱片的快速插接。整個(gè)管路上還有很多的閥門(mén)用于防止漏水，比如豎管上的球閥 527 和支管自動(dòng)截至閥等。而流到每個(gè)服務(wù)器的冷凍水流量則由流量計(jì) 525a和溫度傳感器 525b來(lái)控制，比如當(dāng)監(jiān)測(cè)到服務(wù)器溫度偏高的時(shí)候，可以加大水流量或者調(diào)低冷凍水供水溫度等。

傳統(tǒng)的數(shù)據(jù)中心基本還停留在配電的較初級(jí)階段，谷歌的數(shù)據(jù)中心已經(jīng)規(guī)模在應(yīng)用配水技術(shù)了。而閥門(mén)和連接技術(shù)要遠(yuǎn)復(fù)雜于線纜和配電開(kāi)關(guān)，谷歌想必已經(jīng)充分考慮這一點(diǎn)，并應(yīng)該已經(jīng)有效解決了漏水和閥門(mén)及管路連接可靠性等問(wèn)題。此外，谷歌認(rèn)為水的比熱容遠(yuǎn)遠(yuǎn)大于空氣，而且水和電一樣，總體是可以控制在管路范圍內(nèi)，而氣體體積太大且四處游散較難控制，風(fēng)扇的功耗還高于水泵的功耗，因此采用水冷技術(shù)更優(yōu)。圖 7 就是谷歌采用水冷技術(shù)的典型案例，置頂空調(diào)盤(pán)管通過(guò)多個(gè)軟管連通到地板下的主供水管獲取冷凍水，然后將共享熱通道內(nèi)服務(wù)器排出的高溫空氣制冷，再循環(huán)到整個(gè)機(jī)房大冷通道環(huán)境，就近高效散熱，非常節(jié)能，水冷服務(wù)器也是類(lèi)似原理，但會(huì)更為節(jié)能。

圖7 谷歌微模塊 hot huts 內(nèi)部熱通道照片

總之，通過(guò)前面谷歌水冷服務(wù)器技術(shù)的介紹，可以看出谷歌強(qiáng)大的技術(shù)實(shí)力，以及對(duì)數(shù)據(jù)中心節(jié)能技術(shù)的不倦追求，同時(shí)還可以看到其大規(guī)模數(shù)據(jù)中心建設(shè)方法論的影子。即在保持整體長(zhǎng)生命周期基礎(chǔ)設(shè)施不太改變的基礎(chǔ)上，通過(guò)短生命周期服務(wù)器技術(shù)等的不斷優(yōu)化升級(jí)來(lái)達(dá)到互聯(lián)網(wǎng)提倡的快速迭代升級(jí)的思路。比如這個(gè)專(zhuān)利技術(shù)提到的水冷服務(wù)器機(jī)房級(jí)基礎(chǔ)設(shè)施建設(shè)思路和筆者前面介紹的《谷歌數(shù)據(jù)中心微模塊初探》內(nèi)的相關(guān)技術(shù)幾乎沒(méi)太變化。比如仍采用 hot huts 熱通道置頂空調(diào)技術(shù)，三聯(lián)柜快速建設(shè)、冷熱通道共享、地板下供水、服務(wù)器大風(fēng)扇散熱架構(gòu)等等。長(zhǎng)生命周期基礎(chǔ)配套基本都可以沿用，只是將末端的配水和水冷服務(wù)器進(jìn)行升級(jí)，不斷優(yōu)化快速迭代短生命周期的服務(wù)器和末端配水配電單元，以較小的投資來(lái)獲得最大的收益。類(lèi)似的思路我們還可以從其最早的集裝箱數(shù)據(jù)中心（可參考拙作《谷歌集裝箱數(shù)據(jù)中心淺析》）到設(shè)想的海上數(shù)據(jù)中心技術(shù)（同樣可參考拙作《谷歌海上數(shù)據(jù)中心介紹》），以及沿用一直以來(lái)的水冷數(shù)據(jù)中心技術(shù)等看出此類(lèi)端倪。并通過(guò) hot huts 微模塊技術(shù)這種單細(xì)胞無(wú)性繁殖模式替代傳統(tǒng)數(shù)據(jù)中心高等級(jí)的哺乳動(dòng)物繁殖模式，以工業(yè)化標(biāo)準(zhǔn)化單元靈活升級(jí)、按需配置，很好地解決了 IT 設(shè)備種類(lèi)繁多且三年一更新和基礎(chǔ)設(shè)施 10 到15 年基本不變的矛盾，非常值得業(yè)界學(xué)習(xí)。 

來(lái)源：網(wǎng)絡(luò)，侵刪

本文標(biāo)題：谷歌水冷服務(wù)器技術(shù)介紹

本文鏈接：http://www.yangziriver.cn/faq3/569.html
[版權(quán)聲明]除非特別標(biāo)注，否則均為本站原創(chuàng)文章，轉(zhuǎn)載時(shí)請(qǐng)以鏈接形式注明文章出處。