數(shù)據(jù)中心能耗是行業(yè)一貫重視的問題，傳統(tǒng)的風(fēng)冷散熱方式對降低數(shù)據(jù)中心能耗具有一定的效果，但高密度大型數(shù)據(jù)中心不斷涌現(xiàn)時，液冷技術(shù)能帶來更加直接的散熱優(yōu)勢。浸沒、冷板、噴淋是目前液冷的3種主要部署方式，且都有一定的市場應(yīng)用。隨著計算性能和密度提升，后續(xù)數(shù)據(jù)中心和服務(wù)器行業(yè)將面臨重構(gòu)的挑戰(zhàn)。

1 引言

一直以來，數(shù)據(jù)中心能耗都居高不下。尤其是我國數(shù)據(jù)中心行業(yè)發(fā)展比較晚，建設(shè)標(biāo)準(zhǔn)相對滯后，數(shù)據(jù)中心PUE普遍在2.2～3.0之間。高能耗不僅給企業(yè)帶來沉重負(fù)擔(dān)，也給社會能源造成巨大浪費。

隨著云計算和大數(shù)據(jù)技術(shù)的蓬勃發(fā)展，實際業(yè)務(wù)對底層基礎(chǔ)設(shè)施的性能要求越來越高。性能的提高直接導(dǎo)致服務(wù)器功耗的不斷增加，特別是作為服務(wù)器關(guān)鍵部件的 CPU，隨著性能提升功耗增加非常顯著。英特爾上一代的 Sandy Bridge 功耗為 135W，最新一代的Skylake 功耗達(dá)到了 240W。在單機(jī)柜服務(wù)器數(shù)量不變的情況下，整柜的功耗幾乎翻番，可以預(yù)見，這會給機(jī)房的散熱帶來多么大的挑戰(zhàn)。

按照相關(guān)預(yù)測，移動產(chǎn)品和其產(chǎn)生的數(shù)據(jù)總量今后還會持續(xù)高速增長，數(shù)據(jù)中心必須向高密度配置服務(wù)器邁進(jìn)。為了應(yīng)對這樣的變化，冷卻技術(shù)也需要隨之革新。2013 年，工業(yè)和信息化部發(fā)布《關(guān)于數(shù)據(jù)中心建設(shè)布局的指導(dǎo)意見》，國內(nèi)的大型數(shù)據(jù)中心也開始往氣候適宜、能源充足的地區(qū)建設(shè)，例如內(nèi)蒙古、山西北部等，這些遷移確實給數(shù)據(jù)中心的節(jié)能帶來了收益，但還是無法從根本上滿足服務(wù)器大功耗高密度部署帶來的散熱需求。

2 液冷系統(tǒng)的優(yōu)勢

液冷技術(shù)并不是一個全新的概念，在衛(wèi)星、火箭發(fā)動機(jī)等航天領(lǐng)域也已有很長的應(yīng)用歷史，而在數(shù)據(jù)中心領(lǐng)域，20 世紀(jì) 60 年代起大型主機(jī)已經(jīng)開始采用，最為人們熟知的是 IBM 的 System/360 型 91 大型計算機(jī)。雖然大家都認(rèn)可液冷的實用性，也有較好的實踐成果，但由于在較低熱度負(fù)荷時風(fēng)冷的成本很低，且安裝部署更為簡單，所以 IT 產(chǎn)業(yè)在隨后的 60 多年里大規(guī)模使用的是風(fēng)冷散熱系統(tǒng)。隨著時間的推移和技術(shù)的進(jìn)步，計算機(jī)芯片的密度越來越高，所要處理的計算工作也越來越復(fù)雜，熱度負(fù)荷節(jié)節(jié)攀升，液冷技術(shù)逐漸被產(chǎn)業(yè)界拉出來“救火”。在液冷越來越頻繁地出現(xiàn)在數(shù)據(jù)中心時，也更為清晰地看到了它的優(yōu)勢。

（1）比熱容大，散熱效率高效

液冷是指使用液體作為熱量傳輸?shù)拿浇榻档蛿?shù)據(jù)中心溫度，液體可以直接導(dǎo)向熱源帶走熱量，不需要像風(fēng)冷一樣間接通過空氣制冷。液冷將大部分熱量通過循環(huán)介質(zhì)帶走，單臺服務(wù)器需求風(fēng)量降低，機(jī)房整體送風(fēng)需求也隨之降低，大大減少機(jī)房回流導(dǎo)致的局部熱點。液冷有效抑制了 CPU 等元件內(nèi)部溫度的瞬間提升，因此可以在一定程度上允許 CPU 超頻工作并增大密集部署，提高集成度。此外，液體的比熱容遠(yuǎn)遠(yuǎn)高于氣體，可以吸收大量的熱而保持溫度變化不大，散熱效率得到極大提升。

（2）降低能耗，減少支出成本

2017 年，我國在用數(shù)據(jù)中心機(jī)架總體規(guī)模 166 萬架，在運(yùn)行中產(chǎn)生了大量的電量消耗。這些驚人的耗電量背后是高昂的電費支出，其中散熱系統(tǒng)占絕大部分。采用液冷技術(shù)后，風(fēng)扇、空調(diào)等不間斷耗電的風(fēng)冷方式可以被全部或部分取代，能耗迅速降低。以市面上某款液冷服務(wù)器為例，在 CPU 芯片和內(nèi)存上安裝了固定水冷板以解決服務(wù)器核心部件散熱問題。與風(fēng)冷相比，CPU 滿載工作時的核溫降低了 20℃，整機(jī)能耗降低了5%。

（3）節(jié)能環(huán)保，降低噪音指標(biāo)

調(diào)查顯示，電力在數(shù)據(jù)中心的能源消耗只有小部分是供給 IT 負(fù)荷，絕大部分都來自散熱負(fù)荷，散熱能耗遠(yuǎn)高于 IT 設(shè)備能耗本身。通過液冷系統(tǒng)削減散熱系統(tǒng)的消耗，可以大大降低整個數(shù)據(jù)中心的能源消耗，極大降低 PUE。此外，由于液冷系統(tǒng)的泵或其他儀器比風(fēng)扇的聲音更小，整個液冷系統(tǒng)的噪音比風(fēng)冷系統(tǒng)大幅降低，基本可達(dá)到“靜音機(jī)房”的效果。

3 液體冷卻方式

數(shù)據(jù)通信設(shè)備的液體冷卻系統(tǒng)的冷卻子系統(tǒng)可以認(rèn)為是一種液體回路，其中冷卻液體與要冷卻的部件做熱交換。有些情況下，冷卻系統(tǒng)的水由機(jī)架由CDU提供，也可以由服務(wù)多個機(jī)架的外部CDU提供。

有關(guān)數(shù)據(jù)中心內(nèi)潛在的液體冷卻系統(tǒng)和回路以及使用的術(shù)語的詳細(xì)信息參見圖1。

圖1  數(shù)據(jù)中心內(nèi)的液體冷卻系統(tǒng)和回路示例

為了解決數(shù)據(jù)中心的高效散熱問題，產(chǎn)業(yè)界做了大量的嘗試。本文提到的利用自然冷源進(jìn)行 Free Cooling 是能帶來PUE降低的一種好方法。此外，產(chǎn)業(yè)界在液冷方面也開始進(jìn)行嘗試，目前來看液冷主要有冷板、浸沒和噴淋3種技術(shù)路線。

3.1 冷板式液冷

冷板式液冷的主要部署方式是在液冷機(jī)柜上配置分水器，給液冷計算節(jié)點提供進(jìn)出水分支管路，分支管路進(jìn)出水管分別與液冷計算節(jié)點的進(jìn)出水口通過接頭對接，與液冷計算節(jié)點的內(nèi)冷板管路連通，實現(xiàn)液冷計算節(jié)點內(nèi)液冷循環(huán)。液冷計算節(jié)點的液體在機(jī)柜級匯聚，機(jī)柜級有一進(jìn)一出兩個與外部管路連接的接頭，該接頭與外置或內(nèi)置 CDU 連接，實現(xiàn)液冷整機(jī)液冷循環(huán)，并帶走液冷計算節(jié)點的熱量。在冷板式液冷系統(tǒng)里的液冷節(jié)點中，CPU 等大功耗部件采用液冷冷板散熱，其他入硬盤、接口卡等少量發(fā)熱器件仍采用風(fēng)冷散熱系統(tǒng)。

這種散熱方式同風(fēng)冷相比，密度更高、更節(jié)能、防噪音效果更好。由于冷板式液冷技術(shù)不需要昂貴的水冷機(jī)組，所以部署這種技術(shù)后，在減少總體擁有成本的同時，顯著增加了數(shù)據(jù)中心的能源利用效率。目前，在風(fēng)冷技術(shù)下，每機(jī)柜的功耗最多只能到30kW。而冷板式液冷在每分鐘 60 升的流量配置下，能達(dá)到總功耗45kW每機(jī)柜，這樣可以實現(xiàn)更高密度的數(shù)據(jù)中心.

3.2 浸沒式液冷

浸沒式液冷是近年備受業(yè)界關(guān)注的新型散熱技術(shù)，尤其在 SC14 全球超級計算大會上，來自國內(nèi)外的多家服務(wù)器企業(yè)均展示了在浸沒液冷散熱上的產(chǎn)品，大幅提高了業(yè)界對液冷的關(guān)注度。浸沒式液冷系統(tǒng)為一種新型高效、綠色節(jié)能的數(shù)據(jù)中心冷卻解決方案。

浸沒式液冷具有明顯的優(yōu)勢。首先，在浸沒式液冷中，冷卻液與發(fā)熱設(shè)備直接接觸，具有較低的對流熱阻，傳熱系數(shù)高；其次，冷卻液具有較高的熱導(dǎo)率和比熱容，運(yùn)行溫度變化率較??；再次，這種方式無需風(fēng)扇，降低了能耗和噪音，制冷效率高；最后，冷卻液絕緣性能優(yōu)良，閃點高不易燃，且無毒、無害、無腐蝕。所以液冷技術(shù)適用于對熱流密度、綠色節(jié)能需求高的大型數(shù)據(jù)中心、超級計算、工業(yè)及其他計算領(lǐng)域和科研機(jī)構(gòu)，特別是對于地處嚴(yán)寒、高海拔地區(qū)，或者地勢較為特殊、空間有限的數(shù)據(jù)中心，以及對環(huán)境噪音要求較高，距離人群辦公、居住場所較近，需要靜音的數(shù)據(jù)中心具有明顯的優(yōu)勢。

但遺憾的是，受限于技術(shù)實現(xiàn)的難度，目前參與浸沒液冷服務(wù)器設(shè)計的企業(yè)對浸沒液冷的應(yīng)用也僅局限于單機(jī)測試、單機(jī)展示階段，從公開的信息來看，并無服務(wù)器集群部署先例。浸沒相對于板級來看，由于更加直接的熱交換，散熱效率更高，但也會帶來很多的技術(shù)挑戰(zhàn)。

3.3 噴淋式液冷

噴淋式液冷系統(tǒng)采用某種冷卻液并通過冷卻液直接或者間接吸熱帶走器件所釋放的廢熱至IDC外部環(huán)境進(jìn)行集中散熱的散熱形式。噴淋式液冷作為液冷的一種，其主要特征為絕緣非腐蝕特性的冷卻液直接噴淋到發(fā)熱器件表面或者是與發(fā)熱器件接觸的擴(kuò)展表面上吸熱后并排走，排走的熱流體通過直接與間接與外部環(huán)境大冷源進(jìn)行熱交換。

噴淋式液冷是指對IT設(shè)備進(jìn)行改造部署相應(yīng)的噴淋器件。在設(shè)備運(yùn)行時，有針對性地對發(fā)熱過高器件進(jìn)行冷卻的一種液冷實現(xiàn)方式。這種方式的特點是不需要對機(jī)房基礎(chǔ)設(shè)施做太大的改動，只需要對服務(wù)器進(jìn)行少量的改造就能實現(xiàn)較好的冷卻性能。

噴淋式液冷機(jī)柜系統(tǒng)包括噴淋式液冷機(jī)柜系統(tǒng)（含管路、布液系統(tǒng)、回液系統(tǒng)和PDU等部件）、液冷服務(wù)器、冷卻液 3 部分。噴淋式液冷機(jī)柜通過管路與室內(nèi)熱交換器相連接，即機(jī)柜內(nèi)芯片的廢熱被冷卻液吸收后傳遞到到室內(nèi)熱交換器并與室外熱交換器進(jìn)行換熱。在該系統(tǒng)中，服務(wù)器內(nèi)部各個發(fā)熱器件要求采用分布式布局，建議發(fā)熱器件的傳熱表面的方向不與重力方向相同；機(jī)柜內(nèi)部器件電功率建議不超過 56kW；服務(wù)器內(nèi)部無風(fēng)扇，機(jī)械硬盤需要保護(hù)和隔離；各個接口可以實現(xiàn)快拔快插。

噴淋液冷系統(tǒng)具有器件集成度高、散熱效率強(qiáng)、高效節(jié)能和靜音等特點，是解決大功耗機(jī)柜在 IDC 機(jī)房部署以及降低 IT 系統(tǒng)制冷費用，提升能效，降低 TCO的有效手段之一。

4 國外的嘗試

為了節(jié)能，國外做了很多大膽的嘗試，例如微軟在海底建設(shè)了自給型數(shù)據(jù)中心、Facebook 在靠近北極圈的地方建設(shè)數(shù)據(jù)中心等，但這些主要是依靠環(huán)境溫度進(jìn)行節(jié)能控制，如果回顧液冷技術(shù)在數(shù)據(jù)中心領(lǐng)域的發(fā)展，大概可以追溯到20世紀(jì)60年代。

1966 年，IBM 推出了 System/360 型 91 大型計算機(jī)，這款巨無霸產(chǎn)品以高速度和高性能優(yōu)勢被運(yùn)用在大型科學(xué)計算中，如太空探索、全球氣候預(yù)測等。為了保證這個史無前例的大型機(jī)的穩(wěn)定性和高效性，IBM 專門研發(fā)了水冷系統(tǒng)。隨后的幾十年里，由于在熱負(fù)荷不高的場景下風(fēng)冷成本更低、技術(shù)更簡單易行，液冷漸漸消沉。雖然 IBM 也先后在 3081 大型機(jī)和 Power 575 超算上應(yīng)用了新型水冷技術(shù)，但真正較為系統(tǒng)和成熟的應(yīng)用是在 2010 年 7 月，IBM 的“熱水”降溫超算 Aquasar。它的出現(xiàn)再次開啟了液冷時代的新紀(jì)元，也助推 IBM 重回液冷巔峰寶座。如今，IBM在德國慕尼黑部署超算中心（LRZ）SuperMUC，采用了 40℃的溫水作為 IT 設(shè)備制冷的冷媒工質(zhì)，散熱效率比普通風(fēng)冷高 4000 倍，其產(chǎn)生的熱水可以給 LRZ超級計算機(jī)中心園區(qū)的其他生活建筑供熱，每年可節(jié)省約 125 萬美元開支。

與 IBM 直 接 用 水 制 冷 不 同 ，Intel 與 Green Revolution Cooling（GRC）歷經(jīng)一年合作后，推出了礦物油浸沒散熱系統(tǒng)。GRC是在美國國家科學(xué)基金會的初始資助下于 2009 年成立的一家公司，至今成立不到10 年，但已在液體冷卻技術(shù)解決方案上頗有建樹和聲望。推出的這套系統(tǒng)中的礦物油比熱容是空氣的 1200倍，試驗數(shù)據(jù)表明冷卻效果比傳統(tǒng)的空氣冷卻的耗能要低90%～95%。

除了 Intel 和 GRC，美國的 3M公司也在浸沒式液冷上有所突破。研制了一種被稱為 NOVEC 的絕緣冷卻液，這種液體比一般的純凈水、氟化液或礦物油的沸點更低，使用時很容易像水一樣呈沸騰狀態(tài)。在3M的液冷系統(tǒng)中，NOVEC 吸熱沸騰變?yōu)檎羝巾敳坷淠?，釋放熱量冷卻為液態(tài)，循環(huán)往復(fù)逐漸降熱。

2018 年，在 I/O 開發(fā)者大會上，Google 推出了專為機(jī)器學(xué)習(xí)設(shè)計的芯片TPU的第三代，一個TPU3.0部署可提供超過 100 Petaflops 的運(yùn)算能力，高密度的設(shè)計和高性能的計算速度讓 Google不得不在其數(shù)據(jù)中心中引入液冷技術(shù)。這也是 Google 第一次在其數(shù)據(jù)中心中使用液冷，據(jù)猜測 Google 使用的是冷板式技術(shù)，具體技術(shù)細(xì)節(jié)還未公開。

國外在液冷技術(shù)上的嘗試多多少少都是受性能所迫，當(dāng)傳統(tǒng)的配套設(shè)施無法滿足日益增長的計算和性能需求時，新的技術(shù)勢必會被催生，液冷也是在這個情境下重整旗鼓逐漸被廠商們重視起來。

5 問題和思路

目前來看，部署液冷還需要面對很多問題。

（1）原有機(jī)房適配的問題。傳統(tǒng)機(jī)房的承重、管路等設(shè)計均來自傳統(tǒng)機(jī)柜的規(guī)格。而在液冷方式下，由于制冷方式的轉(zhuǎn)變，部署環(huán)境將會有很大的不同。如果在傳統(tǒng)機(jī)房部署液冷系統(tǒng)會帶來部署成本、部署難度等方面的問題。

（2）對于浸沒式和噴淋式等接觸式液冷，液體和 IT部件之間的兼容性是需要考慮的一個重要方面。IT 部件長期浸泡在相關(guān)液體中，是否會對其功能和性能帶來影響需要關(guān)注和驗證。另外，液體對人體和環(huán)境的友好性也至關(guān)重要。

（3）液冷的行業(yè)標(biāo)準(zhǔn)缺失將會阻礙技術(shù)的發(fā)展。目前，各企業(yè)關(guān)于液冷的研發(fā)處于各自為戰(zhàn)野蠻生長的狀態(tài)，亟需相關(guān)的行業(yè)標(biāo)準(zhǔn)組織對液冷的標(biāo)準(zhǔn)化進(jìn)行管理。對液體、供配電、管控、安防和運(yùn)維等各個方面制定明確的技術(shù)要求，促進(jìn)液冷技術(shù)的良性發(fā)展。

（4）我國各大服務(wù)器廠商基本都在進(jìn)行液冷服務(wù)器的研發(fā)。如果國家能有相關(guān)專項進(jìn)行研發(fā)資金的支持，將會更好地推動液冷技術(shù)國產(chǎn)化的發(fā)展，拉近我國與國際先進(jìn)水平的距離，更好地實現(xiàn)液冷由中國制造向中國智造的轉(zhuǎn)變。

液冷是一項投入巨大、產(chǎn)出過程較慢的高技術(shù)系統(tǒng)工程。除了必須具備傳統(tǒng)服務(wù)器的設(shè)計研發(fā)能力之外，還需要有流體相關(guān)的經(jīng)驗積累。目前，國內(nèi)僅有曙光、華為、聯(lián)想、浪潮等幾個傳統(tǒng)服務(wù)器廠商具有相關(guān)產(chǎn)品，此外綠色云圖、廣東合一也在浸沒式和噴淋式液冷方面積累了一定的經(jīng)驗。

我國數(shù)據(jù)中心行業(yè)組織開放數(shù)據(jù)中心技術(shù)推進(jìn)委員會（ODCC）于 2017 年成立了液冷項目組，與上述企業(yè)以及中國信息通信研究院、百度、騰訊、阿里、美團(tuán)、京東、中國移動、中國電信等用戶單位一起，發(fā)起液冷系列規(guī)范的編寫。整個技術(shù)規(guī)范將從液體、管線、IT 設(shè)備、配電等方面進(jìn)行考量，還對液冷系統(tǒng)的測試驗證做了相應(yīng)規(guī)劃，包括基礎(chǔ)性能、應(yīng)用性能、熱工性能、變負(fù)載、可靠性等各個方面。系列規(guī)范已于 2018 年10月16日“2018開放數(shù)據(jù)中心峰會”上正式發(fā)布。

6 結(jié)束語

液冷技術(shù)起步不久，還有很多問題亟待解決。例如，機(jī)房的承重問題，1.5T/m2以上的載荷會對老舊機(jī)房的地板帶來巨大壓力；還有硬盤的失效率問題，從目前技術(shù)來看，硬盤的失效率并不會因為溫度降低而降低。另外，液冷的行業(yè)標(biāo)準(zhǔn)目前還一片空白，雖然標(biāo)準(zhǔn)上的開放可以助推更多創(chuàng)新技術(shù)出世，但這對于液冷的性能安全、配套設(shè)施、人員監(jiān)管、市場推廣等長遠(yuǎn)發(fā)展其實都很不利。

液冷服務(wù)器的部署對于數(shù)據(jù)中心機(jī)房的要求、制冷的要求、服務(wù)器部件的要求等發(fā)生了顛覆性變化，所以液冷將會給服務(wù)器甚至數(shù)據(jù)中心的整個產(chǎn)業(yè)鏈帶來一次重構(gòu)，這也體現(xiàn)了數(shù)據(jù)中心行業(yè)多專業(yè)融合的趨勢，對于整個行業(yè)來說將是巨大的挑戰(zhàn)。

來源：網(wǎng)絡(luò)

本文標(biāo)題：對液冷技術(shù)及其發(fā)展的探討

本文鏈接：http://www.yangziriver.cn/faq1/232.html
[版權(quán)聲明]除非特別標(biāo)注，否則均為本站原創(chuàng)文章，轉(zhuǎn)載時請以鏈接形式注明文章出處。