摘要：液冷技術可提高散熱密度、節(jié)能減排、降低數(shù)據(jù)中心的碳足跡，開展數(shù)據(jù)中心液冷技術的應用研究具有積極的科學意義。詳細介紹了應用于數(shù)據(jù)中心的不同液冷技術及其冷卻液。從冷卻溫度、節(jié)能效率、熱回收性能3個方面對近年來國內(nèi)外數(shù)據(jù)中心液冷技術的應用研究進展進行了綜述，結(jié)果表明液冷技術冷卻溫度高，節(jié)能效果明顯，具有優(yōu)秀的熱回收性能。指出合理分配使用側(cè)及冷源側(cè)的溫差，提高部分負載下液冷系統(tǒng)的節(jié)能性，探索冷卻溫度、節(jié)能效率及熱回收性能三者之間的最佳耦合關系是數(shù)據(jù)中心液冷技術的應用研究方向。認為數(shù)據(jù)中心液冷技術的應用仍需持續(xù)實踐及深入探索。

00 引言

2020年全球信息與通信技術（ICT）行業(yè)的溫室氣體排放約占全球溫室氣體排放總量的3%~6%，預計2030年將達到全球溫室氣體排放總量的23%左右。ICT行業(yè)的能源消耗主要來自使用手機、計算機、電視等終端設備及網(wǎng)絡設施和數(shù)據(jù)中心等，其中數(shù)據(jù)中心能耗最大。2019年我國數(shù)據(jù)中心年耗電量約為600億~700億看kW·h，占全社會用電量的0.8%~1.0％，預計2030年我國數(shù)據(jù)中心的總規(guī)模將是2019年的2~3倍，其耗電量將達到社會總用電量的1.5%~2.0％，而數(shù)據(jù)中心的制冷空調(diào)系統(tǒng)用電量占整個數(shù)據(jù)中心的30%~50%，按照《中國區(qū)域電網(wǎng)基準線排放因子》中的加權平均值（0.5874~0.7798）來計算，數(shù)據(jù)中心制冷空調(diào)系統(tǒng)用電產(chǎn)生的碳排放量相當大，碳減排是實現(xiàn)碳中和的4種主要途徑（碳替代、碳減排、碳封存及碳循環(huán)）之一。為了實現(xiàn)數(shù)據(jù)中心制冷空調(diào)系統(tǒng)的節(jié)能減排，業(yè)界在通道封閉、風墻及各類氣流組織上，在熱管、江湖水、乙二醇動態(tài)自然冷卻、冷卻塔、風冷冷水機組、制冷劑泵、間接蒸發(fā)冷卻、轉(zhuǎn)輪換熱及新風直接自然冷卻等制冷方式上做了大量的相關研究。液冷技術可以直接利用自然冷卻，顯著降低耗電量，有利于減少數(shù)據(jù)中心的碳排放 。

另外，云計算、大數(shù)據(jù)、5G網(wǎng)絡建設帶來了諸如5G交互式增強現(xiàn)實（AR）、天量的數(shù)據(jù)處理等高通量的計算業(yè)務，使得服務器芯片的散熱受到嚴重挑戰(zhàn)，芯片熱封裝殼溫也在不斷提高，達到了風冷散熱的極限。而液體的比熱容為空氣的1000~3500倍，導熱性能是空氣的15~25倍，所以對于更高熱密度的散熱，熱容量更大、熱傳導更快的液冷就成了不二選擇。隨著國家及地方政策層面的推動，液冷技術在數(shù)據(jù)中心的應用也將取得長足的發(fā)展，開展數(shù)據(jù)中心液冷技術的應用研究具有重要意義，本文就液冷技術在數(shù)據(jù)中心的應用研究進行梳理。

01 數(shù)據(jù)中心液冷

電子設備是指由集成電路、晶體管、電子管等電子元器件組成，應用電子技術軟件發(fā)揮作用的設備。液冷技術是利用液體介質(zhì)與熱源直接或間接接觸進行換熱，再由冷卻液體將熱量傳遞出去的冷卻技術。由于液體介質(zhì)具有換熱系數(shù)高、流動性好及穩(wěn)定性高的特點，在電子設備冷卻上得到了越來越多的應用。

1.1 電子設備液冷技術

電子設備液冷技術有直接冷卻和間接冷卻，直接冷卻有射流沖擊、噴霧冷卻及浸沒等方式，間接冷卻主要指宏觀循環(huán)水冷及冷板式液冷。

射流沖擊是直接將液態(tài)工質(zhì)噴射到換熱表面上，從而實現(xiàn)良好散熱效果的一種技術。噴射流體通常是利用壓差作用，通過一定形狀的孔（圓形、矩形、橢圓形等）或狹縫后具有較高的流速，對散熱冷板表面進行高速沖擊。按照換熱過程中液態(tài)工質(zhì)是否發(fā)生相變，射流沖擊分為相變換熱及單相換熱。射流沖擊相變換熱不僅減薄了流動邊界層的厚度，而且利用了汽化時的相變潛熱，具有更好的對流換熱效果。射流沖擊主要應用于電力電子器件上，幾乎沒有在數(shù)據(jù)中心的實際應用案例。

噴霧冷卻利用噴嘴將液態(tài)工質(zhì)霧化成微小液滴，噴射到換熱表面并形成一層連續(xù)的冷卻薄膜，隨著液膜流動或冷卻液體蒸發(fā)帶走熱量。噴霧冷卻常被用于飛機和宇航系統(tǒng)的散熱，用以降低灌封的流體質(zhì)量，國外EA-6B電子干擾機的雷達采用了該冷卻技術，Cray X-I號超級計算機散熱冷卻中也曾嘗試應用該技術。噴霧冷卻用于服務器上仍需在密封性及材料相容性方面做進一步的研究，無其他數(shù)據(jù)中心采用噴霧液冷的相關報道。

宏觀循環(huán)水冷系統(tǒng)是將儲液箱的冷卻液送至與熱源直接接觸的冷板，吸收熱量后進入散熱器，散熱后重新進入儲液箱，從而形成一個完整的冷卻循環(huán)。這種水冷系統(tǒng)結(jié)構簡單，穩(wěn)定可靠，在軍事電子設備上具有廣泛應用。但是該系統(tǒng)的散熱效率有待提高，系統(tǒng)設備的尺寸需進一步優(yōu)化，無數(shù)據(jù)中心應用案例。

1.2 數(shù)據(jù)中心液冷種類

數(shù)據(jù)中心服務器是計算機的一種，它比普通計算機運行更快、負載更高。服務器在網(wǎng)絡中為其他客戶機提供計算或應用服務，通常由中央處理器（CPU）、硬盤、內(nèi)存及系統(tǒng)、系統(tǒng)總線等組成，也屬于電子設備的范疇。服務器按照其外形及應用環(huán)境一般可分為塔式服務器、機架式服務器、刀片式服務器及機柜式服務器。塔式服務器外形及結(jié)構與平時使用的立式個人計算機（PC）類似，其機箱較大，占用空間大。機架式服務器外觀按照統(tǒng)一標準設計，配合機柜統(tǒng)一使用，高度以U為單位（1U=44.45ｍｍ），通常有1、2、3、4、5、7U幾種標準。

作為服務器關鍵部件的CPU，隨著性能的提升，功耗增加非常顯著，例如英特爾上一代的 Sandy Bridge 功耗為135Ｗ，最新一代的Skylake功耗達到了240Ｗ，按照高密度服務器1U高度4塊CPU計算，則1U服務器的散熱量可以達到960Ｗ，常規(guī)42U機柜的散熱量高達40.3kW。依據(jù)文獻[38]統(tǒng)計，42U機柜的散熱量甚至達到了50.4kW。刀片式服務器通過機箱集成電源和氣流分配模塊，一個機箱包含多個刀片式服務器以縮小空間需求，每個刀片即一塊系統(tǒng)主板，集成度更高，比機架式服務器更節(jié)省空間。隨著刀片式服務器性能的持續(xù)發(fā)展，最初一個刀片上只有２塊CPU，現(xiàn)在一個刀片上僅圖形處理器（GPU）就有８塊，高性能計算服務器單機柜發(fā)熱量將在3年內(nèi)達到60~100kW，在5年內(nèi)達到100kＷ以上。部分服務器內(nèi)部結(jié)構復雜、設備較多，有的還具有許多不同的設備單元，或者幾個服務器放在一個機柜中，這種服務器就是機柜式服務器，適用于快速一體化部署應用場景。

20世紀90年代，集成電路發(fā)展至互補金屬氧化物半導體（CMOS），導致電子器件的功率及封裝密度飛速增加，CMOS的運算能力遠超之前的雙極晶體管，高功耗和高封裝密度帶來了前所未有的冷卻需求。事實上，在此之前,行業(yè)實踐已經(jīng)發(fā)現(xiàn)液冷是滿足多芯片模塊飛速增長的冷卻需求的合適技術。最早的CPU液冷散熱器利用直徑4cm的鋁制散熱片，出現(xiàn)在20世紀80年代末90年代初。

經(jīng)過多年的探索及發(fā)展，目前實際應用于數(shù)據(jù)中心的液冷主要有2種方式：浸沒式及冷板式。浸沒式液冷將服務器里面所有硬件直接浸泡在工程液體中，依靠流動的工程液體吸收服務器的發(fā)熱量。按照工程液體散熱過程中是否發(fā)生相變，可以分為單相浸沒式液冷及兩相浸沒式液冷。單相浸沒式液冷如圖1a所示，冷卻液在散熱中始終維持液態(tài)，不發(fā)生相變，低溫的冷卻液與發(fā)熱電子元器件直接接觸換熱，溫度升高后進入板式換熱器,被室外側(cè)冷卻循環(huán)冷卻后重新進入液冷槽冷卻服務器。整個散熱過程中冷卻液無揮發(fā)流失，控制簡單。兩相浸沒式液冷如圖1b所示，浸泡在液冷槽冷卻液中的服務器產(chǎn)生的熱量使冷卻液溫度升高，當溫度達到其沸點時，冷卻液開始沸騰，同時產(chǎn)生大量氣泡。氣泡逃逸至液面上方，在液冷槽內(nèi)形成氣相區(qū)，氣相區(qū)的冷卻液被冷凝管冷卻凝結(jié)成液體后返回液冷槽液相區(qū)。冷凝管中與冷卻液換熱后被加熱的水由循環(huán)泵驅(qū)動進入室外散熱設備進行散熱，冷卻后的水再次進入冷凝管進行循環(huán)。兩相浸沒式液冷的冷卻液在散熱過程中發(fā)生了相變，利用了冷卻液的蒸發(fā)潛熱，具有更高的傳熱效率，但是相變過程中存在壓力波動，控制復雜。

圖1 數(shù)據(jù)中心浸沒式液冷架構示意圖

近兩年，國內(nèi)某廠家提出了如圖2所示的噴淋式液冷系統(tǒng)，用低溫冷卻液直接噴淋芯片及發(fā)熱單元，吸熱后的高溫冷卻液換熱后重新成為低溫冷卻液，再次循環(huán)進入服務器噴淋，過程中無相變，與單相浸沒式液冷大致類似，其基本思想也是冷卻液與服務器直接接觸散熱，差異之處在于加強了對流換熱，將冷卻液集中收集在儲液箱中，液冷柜中的冷卻液量較浸沒式少。理論上循環(huán)散熱過程中冷卻液無相變，但是在噴淋過程中遇到高溫的電子部件冷卻液會出現(xiàn)飄逸，從而對機房及設備環(huán)境產(chǎn)生影響。

圖2 數(shù)據(jù)中心噴淋式液冷架構示意圖

注：CDU為冷卻液分配裝置（ Coolant Distribution Unit）。

冷板式液冷的冷卻液不與服務器元器件直接接觸，而是通過冷板進行換熱，所以稱之為間接液冷。為了增大換熱系數(shù)，目前絕大多數(shù)的服務器芯片采用微通道冷板。與浸沒式類似，依據(jù)冷卻液在冷板中是否發(fā)生相變，分為單相冷板式液冷及兩相冷板式液冷。兩相冷板式液冷利用液泵驅(qū)動液態(tài)冷媒進入冷板，吸熱后蒸發(fā)成氣態(tài)，再利用水冷冷凝器冷卻成液態(tài)，并將熱量排入冷卻水系統(tǒng)，冷卻后的冷媒進入集液器進行氣液分離后進入過冷器過冷，以確保液泵吸入口為液態(tài)冷媒，然后液泵驅(qū)動冷媒反復循環(huán)，也可以利用壓縮機循環(huán)，從冷板蒸發(fā)出來的冷媒通過壓縮機壓縮后再進入水冷冷凝器冷卻，通常將液泵及壓縮機2套系統(tǒng)設計成互為備用。兩相冷板式液冷系統(tǒng)復雜，而且在狹小的冷板中蒸發(fā)汽化會影響冷卻液的流量穩(wěn)定，引起系統(tǒng)的壓力及溫度波動，最終可能導致過熱。兩相冷板式液冷在數(shù)據(jù)中心的實際應用案例并不多見。

單相冷板式液冷是采用泵驅(qū)動冷卻液流過芯片背部的冷板通道，冷卻液在通道內(nèi)通過板壁與芯片進行換熱，帶走芯片的熱量。換熱后的冷卻液在換熱模塊中散熱冷卻。由于冷板只集中冷卻CPU、集成電路、隨機存取存儲器（RAM）及GPU等核心發(fā)熱部件，服務器的其他電氣元件仍需風冷散熱。數(shù)據(jù)中心常用冷板式液冷的應用架構如圖3所示。

圖3 數(shù)據(jù)中心冷板式液冷架構示意圖

熱管技術利用熱傳導原理與相變介質(zhì)的快速熱傳遞性質(zhì)，通過熱管將發(fā)熱物體的熱量迅速傳遞到熱源外。典型的熱管由管殼、吸液芯和端蓋組成，將管內(nèi)抽成負壓后充以適量的工作液體，使緊貼管內(nèi)壁的吸液芯毛細多孔材料中充滿液體后加以密封。當熱管的一端受熱時毛紉芯中的液體蒸發(fā)汽化，蒸汽在微小的壓差下流向另一端放出熱量凝結(jié)成液體，液體再沿多孔材料靠毛細力的作用流回蒸發(fā)段。熱管在數(shù)據(jù)中心有不同的應用形式，用于冷水機組的有重力熱管、氣泵驅(qū)動復合熱管，空調(diào)末端有吊頂熱管、背板式熱管、環(huán)路熱管機柜等形式。這些熱管應用于主機冷源側(cè)，末端房間級、通道級或機柜級的冷卻，冷卻液并未進入服務器內(nèi)部，未涉及芯片液冷，不在本文討論范圍內(nèi)。用于數(shù)據(jù)中心液冷的芯片熱管如圖4所示，其芯片液冷熱管散熱器由熱沉、熱管及冷板組成，與單相冷板式液冷相比，冷卻液與芯片的物理距離遠一些，有利于抵御漏水風險，但是冷卻液與熱管中的冷媒再進行一次換熱，換熱就必定存在損耗，同時用于服務器中的熱管尺寸小，相關的性能如壓降、質(zhì)量流量及散熱量需要進一步探索優(yōu)化。若把熱管散熱器看成一個整體，也可以認為是冷板式液冷。

圖4 液冷芯片熱管

由于服務器需要完全浸泡在冷卻液中，故浸沒式液冷需要專門的液冷槽，無法利用常規(guī)服務器機柜，而且要求地板承重在1000kg/ｍ2以上；噴淋式液冷需要與噴淋式服務器配套的機柜；而板式液冷僅需將服務器芯片的風冷熱沉替換為散熱冷板，主流服務器廠商均可提供與常規(guī)風冷服務器尺寸一致的機架式、刀片式冷板液冷服務器，故冷板式液冷可以利用常規(guī)風冷服務器的機柜，甚至同一機柜中既可布置風冷服務器，也可安裝冷板式液冷服務器。所以浸沒式及噴淋式液冷適用于結(jié)構承重經(jīng)過特殊加固的新建項目，冷板式液冷既適用于新建項目，也適用于改造項目。根據(jù)相關資料，噴淋式液冷目前單機柜最大負載為48kW，冷板式及浸沒式液冷均有單機柜高達200kW的解決方案。

1.3 冷卻液

無論哪種液冷形式，最終都是通過室外側(cè)的循環(huán)水將熱量帶走，水低于0℃將凝固結(jié)冰，所以為了防止系統(tǒng)結(jié)冰漲管，極端最低溫度低于0℃的地區(qū)均需在冷源側(cè)散熱水循環(huán)系統(tǒng)中加入乙二醇防凍劑。不同液冷形式對于使用側(cè)冷卻液的要求并不相同，單相冷板式液冷通過冷卻液在冷板內(nèi)吸熱降低芯片溫度，不允許出現(xiàn)汽化現(xiàn)象，相對于普通的絕緣液體和制冷劑，由于水的高沸點及良好的傳熱性能，使其成為單相冷板式液冷的理想冷卻媒介。考慮出廠運輸過程及投入使用后間歇運行的極端天氣狀況，單相冷板式液冷系統(tǒng)廠商通常要求在使用側(cè)采用預混合25％丙二醇（PG）的冷卻液。2種常用防凍劑的主要熱物性參數(shù)及不同質(zhì)量濃度水溶液的凝固點如表1所示。

表1 常用防凍劑的主要熱物性參數(shù)及不同質(zhì)量分數(shù)水溶液的凝固點

兩相冷板式液冷使用側(cè)為微型機械制冷循環(huán)，適用的低沸點絕緣制冷劑較多。業(yè)內(nèi)學者利用R134a、R236fa、R245fa及R407C等制冷劑進行了大量的兩相冷板散熱實驗研究，得到了兩相冷板式液冷的相關性能參數(shù)。表2匯總了部分適用于兩相冷板式液冷的制冷劑的熱物性參數(shù)。

表2 部分兩相冷板式液冷制冷劑的熱物性參數(shù)

熱管冷板式液冷冷板內(nèi)實際上為朗肯制冷循環(huán)，熱管內(nèi)的工質(zhì)需要考慮工作溫度、傳熱性能及該工質(zhì)與管壁、吸液芯的兼容性。甲醇、氨、丙酮及乙醇等都是合適的熱管工質(zhì)；制冷劑R141b、R123及R134a在熱管冷板中也有良好的散熱性能；事實上，水也是良好的熱管工質(zhì)。表3給出了部分熱管冷板式液冷熱管工質(zhì)的熱物性參數(shù)。

表3 部分熱管冷板式液冷熱管工質(zhì)的熱物性參數(shù)

由于浸沒式液冷系統(tǒng)的冷卻液直接和電子器件接觸，必須確保冷卻液與電子器件的絕緣。同時，良好的熱物理性能、化學及熱穩(wěn)定性、無腐蝕且環(huán)境友好也是該類冷卻液非常重要的特性。兩相浸沒式液冷系統(tǒng)的冷卻液需要合適的沸點、較窄的沸程范圍及高汽化潛熱。硅酸酯類、芳香族物質(zhì)、有機硅、脂肪族化合物及氟碳化合物等都被嘗試應用于兩相浸沒式液冷。由于氟碳類化合物具有更優(yōu)的綜合性能，是目前常見的電子設備液體冷卻劑。單相液冷需要高沸點，礦物油可作為單相浸沒式液冷的冷卻液。實驗證實，具有全氟碳結(jié)構的氟化液是良好的單相浸沒式液冷冷卻液。表4匯總了數(shù)據(jù)中心浸沒式液冷系統(tǒng)部分常用冷卻液的主要物性參數(shù)。表中并沒有將噴淋式液冷冷卻液單獨列出，如前所述，噴淋式液冷可認為是一種特殊的單相浸沒式液冷，故理論上單相浸沒式液冷冷卻液均可采用。當然，無論是用于冷板式還是浸沒式液冷的冷卻液，除了關注熱物性參數(shù)外，還應考慮環(huán)保評價參數(shù)如臭氧消耗潛能（ODP）及全球變暖潛能（GWP），根據(jù)相關政策依法依規(guī)選用。

表4 數(shù)據(jù)中心浸沒式液冷部分適用冷卻液的主要物性參數(shù)

02 冷卻溫度

提高冷卻溫度，降低冷卻系統(tǒng)的能耗是數(shù)據(jù)中心利用液冷的主要目的之一。大量實驗研究表明，雖然液冷方式各不相同，但由于冷卻液均更接近發(fā)熱源，絕大部分液冷服務器的冷卻液進口溫度高于常規(guī)風冷服務器數(shù)據(jù)中心的供水溫度，部分液冷服務器實驗冷卻液進口溫度統(tǒng)計見表5?？梢钥闯觯齼上嗬浒迨揭豪渫?，其余液冷服務器實驗的供液溫度均高于30℃，部分實驗的冷卻液進口溫度甚至高達60℃。

表5 部分液冷服務器實驗冷卻液進口溫度

表6匯總了部分實際液冷項目的冷卻液進（出）口溫度?？梢钥闯?，不同項目冷源側(cè)及使用側(cè)的溫差各不相同；另外，盡管數(shù)據(jù)中心液冷的理論進口溫度高，但無論是在有關云計算、超算還是有關模擬器的具體項目上，為了確保服務器芯片工作溫度距離極限溫度有足夠余量，冷源側(cè)的供液溫度通常不超過45℃。當然，實際運用過程中，可依據(jù)配置服務器的實際性能對系統(tǒng)冷卻液進口溫度作進一步調(diào)整，依據(jù)相關報道，德國慕尼黑萊布尼茨超算中心實際運行的冷源側(cè)供液溫度達到50℃。

表6 部分液冷項目冷卻液進（出）口溫度

盡管液冷冷卻液與電子元器件的溫差可以遠小于風冷散熱，15℃溫差即可滿足散熱需求，但并不意味著可以一味提高進口溫度。研究表明，冷卻液進口溫度升高，通信線路中的電阻和微處理器中的泄漏電流將增加，服務器的功耗隨著冷卻液進口溫度升高而增加。文獻[19]研究發(fā)現(xiàn)，冷卻液的進口溫度從30℃提升至60℃，服務器的功耗增加7％；Shoukourian等人對超算服務器進行測試，得到如圖5所示的服務器節(jié)點功率與冷卻液進口溫度曲線圖。盡管單個服務器節(jié)點的功率增加不大，但是中大型數(shù)據(jù)中心服務器節(jié)點數(shù)量多，全部節(jié)點增加的能耗也相當可觀。

圖5 服務器節(jié)點功率與冷卻液進口溫度曲線圖

提高冷源側(cè)散熱溫度有利于擴大室外自然冷卻溫度范圍，降低散熱風機的功耗；增大換熱溫差、提高冷卻液的進口溫度有助于實現(xiàn)系統(tǒng)循環(huán)泵的節(jié)能。另一方面，提高冷卻液的進口溫度會增加服務器的運行功耗。所以在具體項目上，應合理設計服務器冷卻液進口溫度，進一步探討冷源側(cè)及使用側(cè)的最優(yōu)溫差分布，以實現(xiàn)服務器及其散熱系統(tǒng)的整體性能處于最佳狀態(tài)。

03 節(jié)能效率

數(shù)據(jù)中心液冷系統(tǒng)的進口溫度高，可以充分利用自然冷卻，整套系統(tǒng)只有循環(huán)泵及室外散熱風機的功耗，具有良好的節(jié)能效果。電能使用效率PUE（power usage effectiveness）是數(shù)據(jù)中心能效的指標，該數(shù)值定義為數(shù)據(jù)中心消耗的所有能源與IT負載消耗能源的比值。其值大于1，越接近1表明非IT設備耗能越少，即能效水平越好。而部分電能使用效率pPUE（partial power usage effectiveness）是某子系統(tǒng)內(nèi)數(shù)據(jù)中心總能耗與IT設備總能耗之比，不需要考慮數(shù)據(jù)中心其他子系統(tǒng)的性能，可以直觀體現(xiàn)該子系統(tǒng)的節(jié)能情況。

文獻按照全部風冷服務器、50％風冷與50％冷板式液冷服務器混搭及全部冷板式液冷服務器對某數(shù)據(jù)中心進行分析，發(fā)現(xiàn)3種不同方案的pPUE分別為1.39、1.29及1.18，若對原有機房改造，將風冷服務器改成液冷服務器，保持原風冷空調(diào)輔助散熱，則散熱系統(tǒng)的pPUE將低至1.13，所以無論是新建數(shù)據(jù)中心還是改造原有機房，采用冷板式液冷都將大幅降低制冷功耗。

肖新文建立了冷板式液冷數(shù)據(jù)中心的能耗模型，對分布在我國不同熱工區(qū)屬的36個城市的液冷數(shù)據(jù)中心進行了節(jié)能分析，計算發(fā)現(xiàn)所有城市的pPUE均低于1.13，冷板式液冷系統(tǒng)在我國各地均具有顯著節(jié)能潛力，同時指出降低液冷服務器的風冷輔助散熱比例、提高風冷輔助散熱系統(tǒng)的能效將進一步降低整體散熱系統(tǒng)的pPUE。

為了提高風冷輔助散熱系統(tǒng)的性能，文獻提出了將冷板式液冷與動態(tài)自然冷卻空調(diào)系統(tǒng)相結(jié)合的散熱方案，該散熱方案的計算pPUE可低至1.09。

Chi等人實測了浸沒式液冷原型機柜的性能參數(shù)，并假設IT負載滿載運行的前提下，利用實驗得到的相關參數(shù)對散熱量為250kＷ的數(shù)據(jù)中心進行了計算分析，結(jié)果發(fā)現(xiàn)該浸沒式液冷數(shù)據(jù)中心的pPUE為1.14。

嚴遜等人搭建了浸沒式液冷實驗臺，利用假負載測試得到不同室外溫度、不同負載功率下的pPUE在1.05~1.28之間，同時發(fā)現(xiàn)pPUE隨著負載上升而降低。

表7匯總了部分液冷項目的電能使用效率?？梢钥闯?，無論項目的規(guī)模大小、項目所處的緯度及氣候區(qū)，液冷均可以明顯降低數(shù)據(jù)中心的PUE，幾乎所有項目的PUE都低于1.2；浸沒式及噴淋式液冷不需要風冷輔助散熱，具有更低的PUE，大部分實際項目的PUE均低于1.1。另一個值得關注的是大部分項目是在滿負載下的實測/計算PUE，Kanbur等人則做了部分負載下的測試，發(fā)現(xiàn)當負載降至37％（由9.17kＷ降至3.4kＷ）時，PUE由1.15顯著提高至1.4，變化趨勢與文獻[96]一致。室外散熱設備及循壞泵通常按照設計流量及工況選型，部分負載下的性能表現(xiàn)有待提高。

表7 部分液冷項目電能使用效率

04 熱回收性能

數(shù)據(jù)中心發(fā)熱量大，若直接冷卻排入大氣，不僅造成能源浪費，也會造成全球氣候變暖。合理回收余熱有利于降低數(shù)據(jù)中心碳足跡，數(shù)據(jù)中心熱回收利用方式有區(qū)域供熱、直接發(fā)電、間接發(fā)電、吸收式制冷、海水淡化及生化質(zhì)能提煉等。

風冷服務器數(shù)據(jù)中心的廢熱溫度區(qū)間通常在25~35℃，而液冷系統(tǒng)可在靠近CPU等集中發(fā)熱的部位捕獲熱量，這些部件的工作溫度較高，CPU的工作溫度上限通常為85℃，即使冷卻液冷卻溫度高達60℃，仍能保持部件溫度低于極限溫度。液冷系統(tǒng)可以在40~60℃溫度下利用廢熱，此溫度區(qū)間的余熱回收品位更高。

為了確定采用的熱回收技術及應用策略，Zimmermann等人通過分析，引入了基于電力和礦物燃料成本、熱回收效率和特定應用效用函數(shù)的余熱回收經(jīng)濟價值指標———熱經(jīng)濟價值（VＨ），其計算式如式（1）所示。

式中U為應用效用函數(shù)，不同的熱回收應用值不同；Cff為燃燒化石燃料產(chǎn)生1kW·h熱量的成本；Cel為1kW·h的電力成本；η1st為熱回收效率。

由式（1）可以看出，回收熱量的應用經(jīng)濟價值是由使用電力和化石燃料的成本確定的，不同國家及地區(qū)的數(shù)值并不一致；而熱量則是數(shù)據(jù)中心運行溫度的函數(shù)，取決于熱回收效率；熱量的實際價值應根據(jù)所選的熱回收應用方式進行評估，不同應用方式的應用效用函數(shù)不同。設定Sigmoid函數(shù)在特定的溫度范圍內(nèi)從0變?yōu)?，然后保持不變，與熱水供暖特性相符，可用于數(shù)據(jù)中心余熱回收供暖熱經(jīng)濟價值的效用函數(shù)。

文獻[106]按照歐洲平均電力及化石燃料成本計算得到了如圖6所示分別基于石油及天然氣的熱經(jīng)濟價值曲線。同時，將以卡諾效率因子作為單位熱量標準量的熱力學價值及基于朗肯循環(huán)（效率為50％）的發(fā)電價值曲線也繪制在該圖中。由圖6可見，回收數(shù)據(jù)中心余熱供暖，可直接利用熱量，而無需轉(zhuǎn)換為機械功，經(jīng)濟價值高于其熱力學價值。

圖6 熱經(jīng)濟價值曲線

Davies等人對采用風冷、液冷＋風冷及全液冷等不同冷卻散熱系統(tǒng)的樣本數(shù)據(jù)中心進行熱回收效益分析，發(fā)現(xiàn)利用熱泵回收3.5ＭＷ全液冷數(shù)據(jù)中心的余熱作為區(qū)域供熱的熱源可以每年減排二氧化碳4102t。

文獻[108]建立了利用全熱回收冷水機組回收位于上海的某冷板式液冷數(shù)據(jù)中心的余熱作為區(qū)域供熱熱源的方案模型，對該樣本進行效益分析后發(fā)現(xiàn)，每個供暖季可節(jié)省標準煤約3657t，而且液冷系統(tǒng)水溫高，熱回收耗電效率是風冷散熱的2.78倍，熱回收效益大。

TGG及ISO提出采用能源重復利用系數(shù)ERF（energy reuse factor）來量化數(shù)據(jù)中心消耗能源的再利用情況，可用于評價數(shù)據(jù)中心的余熱回收性能，如式（2）所示。

式中Ere回收重復使用的能源；EDC為數(shù)據(jù)中心消耗的所有能源，不僅包括IT設備消耗的能源，也包括數(shù)據(jù)中心輔助設施如冷卻散熱、照明及配電等系統(tǒng)的所有耗能。

由式（2）可知，Ere越大表明熱回收重復利用的能源越多。

Oró等人提出回收冷板式液冷數(shù)據(jù)中心的余熱用于泳池加熱，利用TRNSYS軟件對全部液冷服務器并聯(lián)、每2臺液冷服務器串聯(lián)、每3臺液冷服務器串聯(lián)及每4臺液冷服務器串聯(lián)4種不同的連接方式進行熱回收效益分析，得到如圖7所示的熱回收性能?？梢钥闯?，４臺服務器串聯(lián)的方式具有更優(yōu)的熱回收性能，ERF超過0.45，冷卻液與服務器芯片充分換熱，冷卻液溫度越高越有利于回收更多余熱。

圖7 不同應用連接方式的年能耗、熱回收量及能源重復利用系數(shù)

再生能源利用效率ERE（energy reuse effectiveness）是另一個用于評估余熱回收的性能指標，其計算式為

式中 Ec為數(shù)據(jù)中心制冷消耗的能源；Ep為數(shù)據(jù)圖7不同應用連接方式的年能耗、熱回收量及能源重復利用系數(shù)中心配電消耗的能源；E1為數(shù)據(jù)中心照明消耗的能源；EIT為數(shù)據(jù)中心IT設備消耗的能源。

其中Ec、Ep、E1及EIT合計為數(shù)據(jù)中心消耗的所有能源EDC，故ERE與ERF及PUE的相互關系可以表示為：

由式（4）可以看出，若數(shù)據(jù)中心無熱回收等再生能源，即ERF為０，則ERE的數(shù)值與PUE一致，ERE越高，表明再生能源利用效率越低。

盡管冷卻液溫度越高越易于熱回收，但冷卻液溫度升高，服務器的功耗會隨之增加，從而影響實際運行PUE。Zimmermann等人通過能效理論分析，得到了如圖8所示的ERE與冷卻液進口溫度曲線?？梢钥闯觯鋮s液進口溫度越高，理論再生能源利用效率反而越低，由于理論分析將數(shù)據(jù)中心絕熱一并考慮在內(nèi)，當冷卻液溫度升高時，數(shù)據(jù)中心與周圍環(huán)境的溫差增大，散熱量大，熱回收效率反而降低，因而ERE增大。故數(shù)據(jù)中心余熱回收同樣需要統(tǒng)籌兼顧液冷溫度、PUE及ERE。

圖8 再生能源利用效率與冷卻液進口溫度曲線

結(jié)論與展望

本文綜述了數(shù)據(jù)中心液冷技術在冷卻溫度、節(jié)能效率及熱回收性能三方面的應用研究進展，可以得出如下結(jié)論：

1）液冷冷卻溫度高，理論冷卻液進口溫度可高達60℃，無論應用于云計算、超算還是模擬器，實際項目中設計冷卻液進口溫度通常不超過45℃，可充分利用自然冷卻，實際運行供液溫度可作進一步調(diào)整。

2）液冷可以明顯降低數(shù)據(jù)中心的PUE，無論項目的規(guī)模大小、所處的緯度及氣候區(qū)，幾乎都可以將PUE控制在1.2以內(nèi)，浸沒式液冷具有更低的犘犝犈，大部分浸沒式液冷項目的犘犝犈不超過1.1。

3）余熱回收將是數(shù)據(jù)中心液冷的又一應用趨勢，相較于風冷散熱，液冷系統(tǒng)可以在更高的溫度區(qū)間進行余熱回收，具有更優(yōu)的熱回收性能，且熱回收供暖的經(jīng)濟價值遠高于其熱力學價值。

盡管電子設備的液冷技術研究已經(jīng)開展了幾十年，但是數(shù)據(jù)中心液冷技術的應用時間并不長，尚未展開大規(guī)模的應用。冷板式液冷利用其在超算及模擬器上長期積累的項目經(jīng)驗，正逐步向云計算數(shù)據(jù)中心推進；而浸沒式液冷近幾年才開展數(shù)據(jù)中心的應用，尤其是噴淋式液冷目前僅有零星展示實驗項目。數(shù)據(jù)中心液冷技術的應用發(fā)展需要持續(xù)不斷地探索實踐，仍然存在諸多問題和挑戰(zhàn)需要應對，以下將是未來數(shù)據(jù)中心液冷應用研究的發(fā)展方向：

1）冷板式液冷仍需要部分風冷輔助散熱，擴大冷板散熱的冷卻范圍，降低風冷散熱的比例；結(jié)合高效風冷散熱系統(tǒng)，進一步降低冷板式液冷數(shù)據(jù)中心的散熱pPUE需要持續(xù)研究與實踐。浸沒式液冷需要進一步提高系統(tǒng)穩(wěn)定性、維護便利性，優(yōu)化承重荷載，降低初投資。而噴淋式液冷則需要提高單機柜散熱能力，解決冷卻液散逸問題，進一步優(yōu)化系統(tǒng)，提高系統(tǒng)成熟度，同浸沒式液冷一致，冷卻液與服務器部件的兼容性需要持續(xù)驗證。

2）提高液冷散熱溫度有利于增加全年自然冷卻時間，降低室外散熱設備的風機運行功耗；加大換熱溫差，可降低冷卻液流量，從而進一步實現(xiàn)系統(tǒng)循環(huán)泵的節(jié)能。但過高的冷卻液進口溫度會增加服務器的運行功耗。合理設計服務器冷卻液進口溫度、科學分配散熱溫差、實現(xiàn)服務器及其散熱系統(tǒng)的節(jié)能最大化將是后續(xù)液冷應用研究的重要方向。

3）液冷系統(tǒng)通常按照滿負載工況設計，合理配置系統(tǒng)設備、加強運維過程調(diào)適、提高部分負載下液冷系統(tǒng)的節(jié)能性有待進一步研究。

4）冷卻液溫度越高越易于熱回收，但冷卻液溫度升高，服務器的無用功耗也會隨之增加，繼而影響實際運行犘犝犈，而且理論再生能源利用效率也會將低。故進一步深入研究冷卻溫度、節(jié)能效率及熱回收性能三者之間的最佳耦合關系具有較好的指導意義。

隨著應用研究的持續(xù)深入和工程實踐經(jīng)驗的不斷積累，數(shù)據(jù)中心液冷技術在高性能、高密度、節(jié)能減排、余熱回收上的優(yōu)勢會愈發(fā)凸顯，必將為數(shù)據(jù)中心行業(yè)碳中和貢獻更大力量，取得新的更大發(fā)展。

本文標題：數(shù)據(jù)中心液冷技術應用研究進展

本文鏈接：http://www.yangziriver.cn/faq3/315.html
[版權聲明]除非特別標注，否則均為本站原創(chuàng)文章，轉(zhuǎn)載時請以鏈接形式注明文章出處。