綠色高能效數(shù)據(jù)中心散熱冷卻技術研究現(xiàn)狀及發(fā)展趨勢

作者：蘭洋科技????瀏覽量：8303????時間：2023年03月15日????標簽: 綠色數(shù)據(jù)中心散熱方式風冷散熱冷板式液冷單相液冷水冷機組

數(shù)據(jù)中心是我國的重要基礎設施之一，行業(yè)規(guī)模不斷擴大，市場收入逐年增加，用電量與日俱增。我國當前投入運行的數(shù)據(jù)中心中，散熱冷卻系統(tǒng)以風冷為主，能量利用率低，節(jié)能潛力大，發(fā)展新型綠色高能效數(shù)據(jù)中心散熱冷卻技術勢在必行。散熱冷卻技術需解決兩個問題，一是設備發(fā)熱量增加，散熱冷卻系統(tǒng)制冷能力需相應提高來實現(xiàn)產(chǎn)熱與移熱速率匹配；二是能源利用效率偏低，需發(fā)展具有工業(yè)應用前景的綠色高能效散熱冷卻技術。本文簡要概述了數(shù)據(jù)中心散熱冷卻方式的發(fā) 展現(xiàn)狀，將散熱冷卻技術分為空調制冷、新風制冷、間接液冷、直接單相液冷、直接兩相液冷五類；分析了散熱冷卻技術的發(fā)展趨勢，新型綠色高能效數(shù)據(jù)中心應注重散熱冷卻系統(tǒng)效率提升、冷熱流體通道優(yōu)化、新型液冷材料應用、熱回收系統(tǒng)推廣等；根據(jù)“雙碳”及“新基建”等國家發(fā)展戰(zhàn)略，從優(yōu)化頂層設計、突破關鍵技術、制定科學標準、完善產(chǎn)業(yè)布局、注重能源結構等方面為實現(xiàn)數(shù)據(jù)中心產(chǎn)業(yè)平穩(wěn)有序發(fā)展提出了合理化建議。

一. 前言

數(shù)據(jù)是國家基礎戰(zhàn)略性資源和重要生產(chǎn)要素。21世紀以來信息技術（IT）飛速發(fā)展，物聯(lián)網(wǎng)等大數(shù)據(jù)時代應用飛速崛起，負責計算、存儲、數(shù)據(jù)信息交互的數(shù)據(jù)中心重要性日益凸顯。作為我國“新型基礎設施建設”戰(zhàn)略、“互聯(lián)網(wǎng)+”戰(zhàn)略的重要載體，數(shù)據(jù)中心是我國進行產(chǎn)業(yè)數(shù)字化、生活智能化、服務信息化轉型的重要基石，可支撐我國未來經(jīng)濟社會高質量發(fā)展。數(shù)據(jù)中心產(chǎn)業(yè)受到世界各國重視，市場規(guī)模逐年增加，投資及并購活躍，競爭激烈。2021年全球數(shù)據(jù)中心市場規(guī)模超679億美元，預計2022年將達746億美元，年增速在10%左右。我國重視數(shù)據(jù)中心行業(yè)發(fā)展，大型 / 超大型數(shù)據(jù)中心發(fā)展加速，行業(yè)收入提高。圖1所示為我國數(shù)據(jù)中心機架規(guī)模及其變化圖，2021年達到5.2×106架，五年年均復合增速超30%，其中大型數(shù)據(jù)中心的機架規(guī)模達到4.2×106架，占總機架數(shù)的80%。2021年我國數(shù)據(jù)中心行業(yè)收入達到近1500.2億元，是2017年市場收入的近3倍，年均增長率近30% [1]。我國產(chǎn)業(yè)現(xiàn)代化建設不斷推進，催生大量數(shù)據(jù)中心算力需求，市場前景廣闊。電商、金融、通信等數(shù)字化程度較高的產(chǎn)業(yè)擴大用戶市場，對數(shù)據(jù)中心產(chǎn)業(yè)需求持續(xù)增加；傳統(tǒng)工業(yè)等行業(yè)也在積極進行數(shù)字化轉型升級，優(yōu)化產(chǎn)業(yè)結構，對于數(shù)據(jù)中心行業(yè)產(chǎn)生新的需求增長點。隨著時間推移和產(chǎn)業(yè)信息化發(fā)展，數(shù)據(jù)中心產(chǎn)業(yè)與各行各業(yè)的聯(lián)系會日益密切，最終成為支柱型基礎設施產(chǎn)業(yè)之一。

▲圖1 我國數(shù)據(jù)中心機架規(guī)模及其變化圖

我國數(shù)據(jù)中心在經(jīng)歷產(chǎn)業(yè)萌芽期和行業(yè)引導期后，目前已進入高速高質量發(fā)展的新階段，伴隨數(shù)據(jù)中心計算業(yè)務量爆發(fā)式增長，傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡越來越難以提供支持云計算、邊緣計算等所需的延遲，為更好承載數(shù)據(jù)處理需求，充分發(fā)揮數(shù)據(jù)中心的規(guī)模效益，降低業(yè)務部署成本和維護成本，大規(guī)模及超大規(guī)模數(shù)據(jù)中心已成為新建數(shù)據(jù)中心的首選。隨著數(shù)據(jù)中心規(guī)模擴大，算力和功率密度節(jié)節(jié)攀升，支撐IT設備運行的能耗也相應飛速提高。與數(shù)據(jù)運算、存儲、交換高能耗相伴的是設備巨大的產(chǎn)熱量，IT設備將99%以上的電能轉換為熱能，而其中70%的熱能需數(shù)據(jù)中心通過散熱冷卻系統(tǒng)移除 [2]，進一步增加了數(shù)據(jù)中心的用電消耗。圖2所示為近年來我國數(shù)據(jù)中心用電消耗情況。近五年來，我國數(shù)據(jù)中心耗電量保持15%以上的增長率，2020年耗電量突破2×1011 kW·h，占全國總用電量的2.7% [3]，折合二氧化碳排放量2×108 t（以燃煤發(fā)電折算）。作為輔助單元，散熱冷卻系統(tǒng)在大型數(shù)據(jù)中心的電能消耗與IT設備電耗基本相當。由此可見，數(shù)據(jù)中心的散熱冷卻系統(tǒng)具有極大的節(jié)能潛力。數(shù)據(jù)中心散熱冷卻技術的突破創(chuàng)新，是實現(xiàn)全行業(yè)綠色低碳發(fā)展的關鍵。

▲圖2 我國數(shù)據(jù)中心用電消耗情況

本文從數(shù)據(jù)中心高能耗和散熱冷卻難兩方面亟待解決的問題出發(fā)，綜述了已經(jīng)發(fā)展和應用的各種數(shù)據(jù)中心散熱冷卻方式，闡述了各方式的原理和特點，總結了數(shù)據(jù)中心行業(yè)散熱冷卻方式發(fā)展趨勢并針對數(shù)據(jù)中心綠色高能效發(fā)展目標提出了建議。

二. 數(shù)據(jù)中心散熱冷卻技術需求分析

數(shù)據(jù)中心面臨能耗高和散熱冷卻難兩大問題。依托區(qū)域能源供應優(yōu)勢和自然環(huán)境優(yōu)勢可降低數(shù)據(jù)中心的用電和散熱冷卻成本。因此，合理利用“東數(shù)西算”布局思路，將大型數(shù)據(jù)中心建設在我國能源充足、溫濕度較低的西北部和西南部地區(qū)，可充分利用自然環(huán)境優(yōu)勢，降低數(shù)據(jù)中心的運行成本。但存在數(shù)據(jù)傳輸距離遠的高網(wǎng)絡延遲問題，難以滿足高精度導航、在線控制等邊緣計算需求。在我國人口稠密，經(jīng)濟發(fā)達的東部地區(qū)布局數(shù)據(jù)中心仍是現(xiàn)實需求。在能源供應緊張、自然環(huán)境不利等現(xiàn)實條件下，破解散熱難與高能耗瓶頸，發(fā)展綠色高能效數(shù)據(jù)中心成為行業(yè)共識。綠色高能效數(shù)據(jù)中心需同時實現(xiàn)產(chǎn)熱移熱速率匹配及能源利用效率提升兩個目標，發(fā)展和應用新型散熱冷卻技術成為未來我國數(shù)據(jù)中心高能效綠色化運行的重中之重。

（一）. IT設備發(fā)熱量增大，散熱冷卻系統(tǒng)移熱速率亟需與產(chǎn)熱速率匹配

數(shù)據(jù)中心連續(xù)穩(wěn)定運行是基本目標，實現(xiàn)該目標的關鍵問題是產(chǎn)熱與移熱速率相匹配。隨著單位服務器機柜包含的服務器數(shù)量增多，機柜發(fā)熱量與日俱增，對散熱冷卻系統(tǒng)的要求不斷提高。產(chǎn)熱速率可用機柜功率密度衡量，其定義是單個機柜穩(wěn)定運行所消耗的能量值（單位為 kW/r，r表示單個機柜）。機柜功率密度越高代表產(chǎn)熱量越大，要求散熱冷卻系統(tǒng)移熱速率越高。數(shù)據(jù)中心服務器機柜功率從低密度向高密度發(fā)展是必然趨勢。低功率密度機柜在5 kW/r以下，中功率密度機柜為5~10 kW/r，高功率密度機柜為10 kW/r以上。目前已投用的數(shù)據(jù)中心機柜功率密度在5~10 kW/r居多，已有一些在用的超大型數(shù)據(jù)中心機柜功率密度在30 kW/r以上，甚至達100 kW/r左右，這對于傳統(tǒng)散熱冷卻技術是極大的挑戰(zhàn)。

如圖3所示 [4]，目前發(fā)展的散熱冷卻技術主要有風冷和液冷兩大類，其中風冷包括自然風冷和強制風冷，適用的機柜功率密度較低；液冷分為單相液冷和相變液冷。散熱冷卻系統(tǒng)所采用的冷卻介質、冷卻方式不同，移熱速率差距大。傳統(tǒng)風冷最高可冷卻30 kW/r的機柜，對于30 kW/r以上功率密度的機柜無法做到產(chǎn)熱與移熱速率匹配，會使機柜溫度不斷升高導致算力下降甚至損害設備。因此，在機柜功率密度不斷提高的大數(shù)據(jù)時代，要求散熱冷卻設備及方式的不斷創(chuàng)新，提升移熱速率。

▲圖3 冷卻類型圖

（二）. 能源利用效率偏低，需發(fā)展綠色高能效散熱冷卻技術

散熱冷卻需要消耗能量，移熱速率的增大勢必需考慮能源利用效率問題。衡量數(shù)據(jù)中心總體能耗水平的指標為能源利用效率（PUE），定義為數(shù)據(jù)中心總能耗與信息技術設備能耗的比值。在相同IT功耗下，PUE值越接近1，表明其非IT功耗越低，能源利用率越高。如圖4所示，數(shù)據(jù)中心的總能耗由供配電、照明、散熱冷卻和IT設備功耗等構成。如圖5所示，當前，我國數(shù)據(jù)中心能量消耗中的43%用于散熱冷卻（對應數(shù)據(jù)中心PUE值大于2），冷卻成本高，節(jié)能潛力大 [5]。

數(shù)據(jù)中心能源消耗組成示意圖.jpg

▲圖4 數(shù)據(jù)中心能源消耗組成示意圖

▲圖5 我國數(shù)據(jù)中心能耗分布示意圖

為提高我國數(shù)據(jù)中心的能效水平，促進信息行業(yè)綠色發(fā)展，工業(yè)和信息化部發(fā)布《新型數(shù)據(jù)中心發(fā)展三年行動計劃（2021—2023年）》，要求新建大型及以上數(shù)據(jù)中心PUE降低到1.3以下。國家發(fā)展和改革委員會等發(fā)布《關于嚴格能效約束推動重點領域節(jié)能降碳的若干意見》，明確鼓勵重點行業(yè)利用綠色數(shù)據(jù)中心等新型基礎設施實現(xiàn)節(jié)能降耗，本著“就高不就低”的原則，以國內外先進綠色數(shù)據(jù)中心能效水平為技術改造目標方向，到2025年數(shù)據(jù)中心PUE普遍不超過1.5。

三. 風冷技術發(fā)展現(xiàn)狀

風冷是將冷空氣送至IT設備進行換熱的冷卻方式，在信息技術產(chǎn)業(yè)起步階段起到巨大作用。當時未明確數(shù)據(jù)中心概念，普遍被稱為計算機房或計算機中心，業(yè)務少、規(guī)模小，計算機的數(shù)據(jù)處理能力低，機柜功率在1~2 kW/r，風冷是當時最適合小微型數(shù)據(jù)中心的冷卻方式 [6]。當高功率密度的大型數(shù)據(jù)中心逐步成為主流后，風冷方式仍可滿足機柜功率密度在30 kW/r以下服務器移熱要求，但其能源利用效率普遍較低，不符合信息行業(yè)綠色發(fā)展要求 [7]。

根據(jù)空氣流動的動力源，可將風冷分為自然風冷和強制風冷。自然風冷是利用空氣密度隨溫度的變化產(chǎn)生空氣循環(huán)，帶走IT設備熱量的冷卻方式。IT設備附近的空氣受熱，溫度升高導致密度減小，熱空氣向數(shù)據(jù)中心上部流動，產(chǎn)生壓差使冷空氣向IT設備自然流動。自然風冷空氣流速小，對流傳熱不明顯，制冷效果差，能量利用效率低，是已淘汰的冷卻方式。

強制風冷是利用風機將冷空氣進行強制流動，吹向IT設備進行冷卻的技術方法，是當前數(shù)據(jù)中心采用的最廣泛的冷卻方式。該方法可通過增加IT設備散熱面積或加快空氣流動速率來實現(xiàn)良好的冷卻性能。研究表明，采用合理的氣流組織、智能通風、精確送風、智能換熱、蓄冷空調、空調添加劑以及空調壓縮機冷媒控制等技術，可降低強制風冷數(shù)據(jù)中心20%左右能耗 [8]。強制風冷按照空氣來源的不同，目前主要包括空調制冷和新風制冷兩種方式。

（一）. 空調制冷

空調制冷是以空調來冷卻數(shù)據(jù)中心內部空氣的冷卻方式，由于空調系統(tǒng)耗能較高，采用該散熱冷卻方式的數(shù)據(jù)中心PUE一般在1.7以上 [9]?？照{制冷適配性好，維護方便，技術成熟，穩(wěn)定性高。但冷卻效率較低，只能冷卻中小功率的IT設備，無法滿足未來中大型數(shù)據(jù)中心的冷卻要求。

（二）. 新風制冷

新風制冷是指用數(shù)據(jù)機房外部空氣（新風）作為冷卻介質的冷卻方式。當數(shù)據(jù)中心內部溫度高于外部環(huán)境時，可以直接將外部冷空氣通過風機輸送進數(shù)據(jù)中心，再將升溫后的空氣通過通道排至室外，采用該方式可比空調制冷節(jié)能40%，但對空氣質量條件敏感，需添加灰塵過濾系統(tǒng)和增加除濕系統(tǒng)來調控空氣質量。雅虎位于紐約洛克波特的數(shù)據(jù)中心、Facebook位于俄勒岡州的普林維爾數(shù)據(jù)中心等均采用新風的方式冷卻，PUE可降低至1.2以下。當前新風制冷技術發(fā)展迅速，如設計分布式氣流冷卻系統(tǒng)（DACS）和吹吸通風冷卻系統(tǒng)（BDVCS）可實現(xiàn)數(shù)據(jù)中心全年無空調設備的溫度控制 [10]。新風制冷數(shù)據(jù)中心對環(huán)境要求高，在全年平均氣溫低的溫帶或寒帶地區(qū)，使用新風制冷方式能節(jié)約大量制冷成本。

四. 液冷技術發(fā)展現(xiàn)狀

風冷技術使用的冷卻介質為空氣，其熱導率低，而液體的熱導率較氣體可提高一個數(shù)量級，理論上可將傳熱速率極大提高，可滿足高功率密度機柜的散熱冷卻要求。2021年我國數(shù)據(jù)中心市場收入中，液冷數(shù)據(jù)中心市場收入已達450億~500億元，占比30%以上，發(fā)展空間大。

國內外在數(shù)據(jù)中心液冷方面已有一定研究基礎并已取得了突破性進展，正成為變革性技術。液冷技術根據(jù)液體與IT設備接觸狀態(tài)，可以分為間接液冷、直接單相液冷和直接兩相液冷三類。

（一）. 間接液冷

間接液冷是指液體與發(fā)熱部件通過熱的良導體間接接觸，液體在通道內發(fā)生相變或非相變升溫吸熱，發(fā)熱部件降溫的冷卻方式。在典型的間接液冷直流系統(tǒng)中，傳統(tǒng)的風冷散熱片被替換為蒸發(fā)器或者其他液冷散熱片 [11]，并添加冷卻介質分配輸送系統(tǒng)。冷卻介質從數(shù)據(jù)中心外部通過輸送管路連接到數(shù)據(jù)中心IT設備上，升溫后的冷卻介質與外部冷卻源換熱后降溫，并通過管路輸送至數(shù)據(jù)中心內部進行循環(huán)冷卻。由于芯片是熱量的主要來源，冷卻介質通常會通過間接冷卻的方式對芯片冷卻降溫，而其余組件如硬盤等則會通過風冷來移除熱量 [12]，目前除芯片外，其余組件還沒有能夠商業(yè)化實施的間接冷卻方案 [13]。

間接液冷由于液體不與IT設備直接接觸，因此液體選擇范圍較大，只需考慮導熱系數(shù)是否滿足技術要求，以及能否與換熱導體管路兼容。間接液冷分為冷板冷卻和熱管冷卻，目前實際應用的冷板冷卻中液體大多不發(fā)生相變，而熱管冷卻過程中液體發(fā)生相變。

1. 冷板冷卻

如圖6所示，冷板冷卻是將金屬冷板與IT設備芯片貼合，液體在冷板中流動，芯片發(fā)熱時將熱傳導給冷板金屬，液體流過冷板時升溫，利用顯熱將芯片熱量帶出，通過管道與外界冷源進行換熱，是芯片級別的冷卻方式，使用最多的冷卻介質是水。冷板冷卻是如今液冷數(shù)據(jù)中心采用最廣泛的散熱冷卻方式，使用的是液冷和風冷相結合的方法，對芯片采用液冷，對硬盤等其他電器元件采用風冷，并非嚴格意義上的單純液冷 [14]。與風冷最多冷卻30 kW/r的機柜對比，冷板能冷卻小于45 kW/r的機柜更節(jié)能且噪音小，不需要昂貴的水冷機組，與純液冷對比也有一定優(yōu)勢 [15]。深圳市騰訊計算機系統(tǒng)有限公司采用冷板式冷卻與IT設備微模塊部署相結合，打造了液冷微模塊數(shù)據(jù)中心，液冷模塊的PUE接近1.1，機房整體PUE為1.35。2019年，微軟將一個裝有864臺服務器的數(shù)據(jù)中心密封艙浸入海水中，將海水泵入密封艙內管道通過間接換熱給服務器降溫并進行冷卻性能測試，測試后發(fā)現(xiàn)海底數(shù)據(jù)中心管理成本和建造費用等均比傳統(tǒng)數(shù)據(jù)中心優(yōu)異，在水中的故障率是陸地的八分之一。

▲圖6 冷板冷卻

2. 熱管冷卻

熱管冷卻是在IT設備中添加熱管導熱元件，充分利用熱傳導與液體相變的快速熱傳遞性質，將設備的熱量迅速傳遞到外界的冷卻方式。液體在熱管與發(fā)熱部件接觸端吸熱相變，利用相變潛熱吸收熱量變?yōu)闅鈶B(tài)，氣態(tài)介質在壓差的作用下流向冷凝端，在冷凝端冷凝相變釋放熱量，凝結液通過熱管吸液芯的毛細作用或者重力作用流回蒸發(fā)段，循環(huán)往復傳遞發(fā)熱設備的熱量，再通過風冷或液冷對冷凝段冷卻換熱 [16]。熱管的導熱能力超過所有已知的金屬，冷卻介質有水、甲醇、丙酮、氨、一氟二氯乙烷、水合二氧化硅等，冷凝端可以用水或空氣冷卻 [17]。熱管沒有連接芯片的冷卻介質連接管路，降低冷卻介質在IT設備內部的泄露風險，且沒有泵的需求，利用毛細壓差驅動氣液兩相自循環(huán)運動而發(fā)生熱量交換。因冷卻結構中沒有運動部件，可靠性高 [18]。熱管冷卻機柜無需預留風冷對流散熱冷卻空間，在提升機架功率密度的同時達到良好的冷卻效果，并能實現(xiàn)設備高效散熱和余熱回收再利用 [19]。清華大學基于環(huán)路熱管技術，將多級環(huán)路熱管應用于數(shù)據(jù)中心，研發(fā)環(huán)路熱管機柜并且改造北京某數(shù)據(jù)中心，較空調制冷可節(jié)能41.6% [20]。由于熱管冷卻能力相較冷板提升不明顯，現(xiàn)階段基本不考慮應用于數(shù)據(jù)中心冷卻。

（二）. 直接單相液冷

直接單相液冷是將不影響IT設備部件正常工作的絕緣液體與部件直接接觸，液體不發(fā)生相變來帶走熱量的冷卻方式。

1. 單相浸沒式液冷

單相浸沒式液冷將IT設備浸沒在裝有冷卻介質的密封槽中，在設備內無需加入活動部件，只需提前規(guī)劃好流體流動通道，冷卻介質經(jīng)過設備換熱不發(fā)生相變，利用升溫顯熱來交換熱量，升溫后的液體在循環(huán)泵的作用下流出冷卻介質槽，進入冷卻器降溫后流回冷卻介質槽，達到循環(huán)換熱的目的，可適用最高100 kW/r的服務器機柜。單相浸沒式液冷原理較簡單，如圖7所示，技術難點在于液冷材料的篩選和IT設備的設計。

▲圖7 單相浸沒液冷示意圖

對于直接單相液冷材料，需滿足絕緣性強、黏度低、閃點高或不燃，腐蝕性小，熱穩(wěn)定性高，生物毒性小等性能要求。液冷材料可采用礦物油或全氟胺、全氟聚醚等氟化物，如巨化集團“巨芯”直接單相液冷冷卻液已邁入產(chǎn)業(yè)化階段，主要性能指標與國外壟斷產(chǎn)品基本一致。設備設計與風冷不同，內部需預留液體流道，且設備中不能含有與材料相作用的化學組成。浸沒液冷的機柜沒有密封外殼，且能有效保護設備不受灰塵或硫化物的侵害，允許維護程度較低的熱插拔而無需斷電 [12]，但需額外的維護程序防止冷卻介質流失及去除滲透的空氣和水分 [21]。如圖8所示，阿里云計算有限公司采用自主研發(fā)的液冷服務器集群，在杭州建成目前全球規(guī)模最大的單相浸沒液冷數(shù)據(jù)中心（仁和數(shù)據(jù)中心），是我國首座綠色等級達到5A級的液冷數(shù)據(jù)中心，PUE低至1.09。在該數(shù)據(jù)中心運行過程中選取數(shù)千臺液冷樣本和風冷樣本進行分析，從服務器各個部件失效率情況來看，液冷服務器部件故障率下降53% [22]。浸沒液冷能將溫度維持在發(fā)熱限值之下，可有效提升芯片效率。

▲圖8 阿里云浸沒式液冷服務器

2. 單相噴淋液冷

單相噴淋是利用液體噴嘴將冷卻介質噴淋到發(fā)熱部件表面，液滴尺寸較大且不發(fā)生相變，在部件表面形成薄邊界層進行換熱，能在局部產(chǎn)生單相強對流換熱效果，利用升溫顯熱帶走熱量的冷卻方式 [23]。冷卻介質接觸到熱源表面前，已霧化或者分散為小液滴。這一過程主要通過液體噴口的壓差來進行 [24]。廣東合一新材料研究院有限公司已研發(fā)集中供給噴淋液冷服務器，采用植物油對芯片噴淋，全程無相變，PUE可低至1.1以下。

噴淋冷卻在增大噴嘴壓力后，將冷卻介質高速噴出，可形成射流沖擊，冷卻介質直接噴射到受熱表面上后，高速撞擊表面，利用高速強制對流傳熱的原理，沖程短，形成較薄的溫度和速度邊界層，在沖擊區(qū)域產(chǎn)生強換熱效果，與氣泡誘導的流動混合和潛熱傳遞結合，能產(chǎn)生理想的傳熱效率 [25]。

單相噴淋屬于芯片級別換熱，冷卻效率高，在各個發(fā)熱部件上設置噴淋口，技術難度大，目前還未大規(guī)模應用到數(shù)據(jù)中心冷卻中。液體在噴淋過程中遇到高溫熱源會有飄逸和蒸發(fā)現(xiàn)象，霧滴和氣體沿機箱孔洞縫隙散發(fā)到機箱外，造成機房環(huán)境清潔度下降或對其他設備造成影響，因此對機箱密封性要求較高。

噴淋冷卻還可與冷板冷卻結合使用，將液體噴淋到冷板上進行間接式換熱，來代替IT設備內部的空氣冷卻，技術難度較小，目前已有應用。SparyCool公司為美國陸軍指揮所平臺（CPP）設計噴淋間接換熱系統(tǒng)，提高車載指揮平臺的便捷可拆卸性，將設備包裝為單獨的運輸箱作為一個功能性的網(wǎng)絡配置單元，方便移動和靜態(tài)操作，只需要進行電源和網(wǎng)絡連接，無需重新進行網(wǎng)絡設備和硬件的配置及重新布線，適合移動作戰(zhàn) [26]。

（三）. 直接兩相液冷

直接兩相液冷的創(chuàng)新點在于利用冷卻介質相變的潛熱進行冷卻，一般采用沸點在80 ℃以下的冷卻介質。

1. 兩相浸沒式液冷

如圖9所示，兩相浸沒式液冷的液體在冷卻介質槽內與熱源接觸，在熱源表面形成的蒸汽氣泡上升到冷卻介質槽上方區(qū)域，蒸汽經(jīng)過換熱在冷凝器中重新變?yōu)橐簯B(tài)，流回槽內。相變傳熱涉及潛熱傳遞、重力驅動的兩相對流和氣泡誘導的流動混合 [27]，并且相變過程在IT設備發(fā)熱部件上進行，形成氣泡后對冷卻介質后續(xù)移熱等產(chǎn)生影響，技術難度大，對冷卻介質槽的密封性要求高，使用過程中冷卻介質易受污染。兩相浸沒式液冷材料在滿足直接單相液冷要求前提下，需要較低的沸點，在IT設備穩(wěn)定運行范圍內進行相變吸熱，利用相變潛熱吸收熱量，冷卻介質可采用FC-72、Novec-649、HFE-7100或PF-5060等短鏈氟化物，可將芯片溫度維持在85 ℃以下穩(wěn)定運行 [12]，并且蒸汽在冷凝器冷卻后可以通過重力作用返回液槽，無需額外提供循環(huán)動力，單機柜功率密度可達110 kW/r以上。如圖10所示，2019年曙光信息產(chǎn)業(yè)股份有限公司發(fā)布了“硅立方”高性能計算機，采用浸沒相變液冷技術方法，將單臺計算機的能效水平逼近極限，PUE達到1.04，展現(xiàn)了液冷技術在高性能計算機上的優(yōu)勢，但在數(shù)據(jù)中心等計算機集群上的應用有待探索。

▲圖9 兩相浸沒液冷示意圖

▲圖10 硅立方

2. 相變噴淋液冷

相變噴淋是在單相噴淋的基礎上，將冷卻介質霧化成微小液滴后在發(fā)熱部件表面形成液膜，不發(fā)生明顯流動，液體汽化帶走熱量的冷卻方式 [28]，冷卻效率是非相變的3倍以上 [29]。噴淋冷卻的傳熱機理復雜，已有研究人員提出薄膜蒸發(fā)、單相對流、二次成核等機制，未有統(tǒng)一的傳熱模型，有待深入研究 [30]。相變噴淋是目前已知冷卻能力最強的冷卻方式，前景廣闊，耗能較高，適合機柜功率密度140 kW/r以上的IT設備散熱冷卻，尚未有商業(yè)化的數(shù)據(jù)中心應用方案。相變噴淋系統(tǒng)穩(wěn)定性待驗證，噴嘴易堵塞，維護檢修困難，需要密封的蒸汽室和蒸汽回收裝置，還需要考慮電子設備的可靠性等問題 [27,30]。

五. 綠色高能效數(shù)據(jù)中心散熱冷卻技術發(fā)展趨勢

數(shù)據(jù)中心是互聯(lián)網(wǎng)的基礎設施，轉型升級對我國社會現(xiàn)代化有重要作用。綠色高能效數(shù)據(jù)中心散熱冷卻技術發(fā)展方向主要有制冷系統(tǒng)效率提升，冷熱流體通道優(yōu)化，新型液冷材料應用，熱回收系統(tǒng)推廣等。

（一）. 制冷系統(tǒng)效率提升

數(shù)據(jù)中心制冷系統(tǒng)中包含冷卻塔、冷水機組、泵、冷凝器、流體輸送管道等設備，合理的工況參數(shù)選擇及設備選型能顯著提升制冷系統(tǒng)整體效率，進而提高能效比。通過使用高效不間斷電源、泵和冷卻器的頻率隨負荷降低或季節(jié)靈活轉變頻率、優(yōu)化數(shù)據(jù)中心內部布局等方式可提高能源利用效率 [31]。

（二）. 冷熱流體通道優(yōu)化

冷熱通道（HACA）技術最先應用于風冷數(shù)據(jù)中心，相鄰機架入口或出口相對，形成間隔的冷熱通道。空調系統(tǒng)輸入服務器的冷空氣和換熱后的熱空氣區(qū)分開，分別由冷通道和熱通道輸入或輸出服務器 [32]，從熱力學角度提升冷卻介質換熱效率。保證冷熱通道封閉性也有助于降低空調風扇功率15%左右，節(jié)約能源 [33]。未來液冷數(shù)據(jù)中心也可借鑒應用該技術，通過優(yōu)化IT設備內部構造，形成冷卻介質輸入輸出的流體通道，避免不同溫度冷卻介質相互混合，從熱力學原理上實現(xiàn)換熱效率最優(yōu)化。其次，還可增加冷卻介質換熱的湍動程度，使換熱邊界層變薄，降低對流傳熱熱阻。

（三）. 新型液冷材料應用

相較于風冷數(shù)據(jù)中心使用空氣作為冷卻介質，液冷數(shù)據(jù)中心的冷卻介質種類多，選擇豐富。尋找與IT設備相容、安全性高、傳熱性能優(yōu)良的液冷材料是散熱冷卻技術發(fā)展的重要方向。液冷材料選擇需綜合考慮閃點、揮發(fā)性、生物毒性、導熱系數(shù)、黏度、介電常數(shù)、腐蝕性等多方面因素，導致液冷材料宏觀性質差異的原因是液冷材料的分子結構。通過模擬等手段篩選分子結構不同的液冷材料，建立并完善液冷材料數(shù)據(jù)庫，尋找有競爭力的低成本高性能液冷材料是數(shù)據(jù)中心從風冷半風冷向液冷轉型升級的基石。

（四）. 熱回收系統(tǒng)推廣

目前大多數(shù)的熱回收技術通過與冷卻液流換熱來捕獲余熱，余熱的質量和數(shù)量由熱管理系統(tǒng)的類型和規(guī)格決定。在高效的風冷數(shù)據(jù)中心中，冷空氣通常以25 ℃供給，與IT設備換熱后可升至40 ℃ [34]，熱空氣經(jīng)過吸收式制冷設備可以將熱能轉變?yōu)殡娔?，實現(xiàn)熱電聯(lián)產(chǎn)，將產(chǎn)出的電能用于冷卻水，減少部分電能使用 [35]。采用冷板等液冷后，IT設備芯片工作溫度接近85 ℃時，進水溫度可達60 ℃左右，換熱后冷卻介質產(chǎn)生的熱能質量高，用途更廣 [36]?；厥盏挠酂峥捎米鞴S或區(qū)域的熱或熱水供應，吸收式制冷，有機朗肯循環(huán)，壓電，熱電聯(lián)產(chǎn)，生物質燃料干燥，海水淡化等用途 [37]。通過分析種類不同的數(shù)據(jù)中心散熱冷卻技術，配套相應的熱回收系統(tǒng)，能有效提高能量利用效率。

六. 數(shù)據(jù)中心散熱冷卻技術發(fā)展愿景

作為數(shù)據(jù)樞紐和應用載體的數(shù)據(jù)中心，既是新型基礎設施的重要組成部分，也是IT行業(yè)新基建發(fā)展的基礎和搭建信息化平臺的重要前置條件，對數(shù)字經(jīng)濟的騰飛起到底層支撐作用。然而由于能耗高和散熱冷卻難等問題，數(shù)據(jù)中心綠色低碳化發(fā)展面臨巨大挑戰(zhàn)，隨著數(shù)據(jù)中心逐漸大型化、高密度的發(fā)展趨勢，冷卻技術需要順應變化，及時轉型升級，淘汰能量浪費嚴重的舊數(shù)據(jù)中心，建設新一代以液冷為主的綠色節(jié)能數(shù)據(jù)中心。實現(xiàn)數(shù)據(jù)中心散熱冷卻技術轉型升級，可有利支撐我國“十四五”戰(zhàn)略布局，促進信息行業(yè)產(chǎn)業(yè)清潔化和低碳化，產(chǎn)業(yè)基礎高級化及產(chǎn)業(yè)鏈現(xiàn)代化，實現(xiàn)傳統(tǒng)行業(yè)改造提升，將粗放型轉為集約型，搶占數(shù)字經(jīng)濟碳達峰與碳中和技術制高點，保證數(shù)字經(jīng)濟等戰(zhàn)略新興產(chǎn)業(yè)發(fā)展不受基礎設施制約，進行科技創(chuàng)新，找到經(jīng)濟新增長點、發(fā)展新動能，對我國經(jīng)濟增長和社會穩(wěn)定有重要的意義。

（一）. 優(yōu)化數(shù)據(jù)中心區(qū)域布局頂層設計，合理規(guī)劃發(fā)展高能效散熱冷卻技術

對于現(xiàn)有的數(shù)據(jù)中心，從原有冷卻形式改造為液冷的成本過高，得不償失，在做好規(guī)劃的基礎上建造新的液冷數(shù)據(jù)中心會具有更大的經(jīng)濟優(yōu)勢。數(shù)據(jù)中心使用壽命為10年左右，散熱冷卻技術方案需做到提前規(guī)劃，與時俱進。加強全國數(shù)據(jù)中心管理，優(yōu)化頂層設計和統(tǒng)籌協(xié)調，提前布局并進行統(tǒng)一建設，將多個小型數(shù)據(jù)中心建設需求合并為高功率密度的大型數(shù)據(jù)中心，降低使用液冷的成本，提高能量利用效率。將各地數(shù)據(jù)中心規(guī)劃為有機整體，從全局出發(fā)，發(fā)揮各地土地能源科技等獨特優(yōu)勢，做到產(chǎn)業(yè)合理布局，資源配置集約化，組織結構高度集中，達到降低液冷數(shù)據(jù)中心研發(fā)建造等成本的目的。

（二）. 突破關鍵技術，實現(xiàn)數(shù)據(jù)中心散熱冷卻技術的全鏈條產(chǎn)業(yè)落地

我國液冷數(shù)據(jù)中心處在發(fā)展初期，產(chǎn)業(yè)鏈尚不完備、設備采購成本偏高、采購渠道少、電子元器件的兼容性低、液冷服務器用冷卻介質成本高等問題是液冷服務器尚未大規(guī)模推廣的重要原因 [38]。綠色數(shù)據(jù)中心從規(guī)劃到落地是一項系統(tǒng)性工程，涉及一系列技術難點突破，從散熱冷卻材料的篩選制備，到供配電系統(tǒng)優(yōu)化降低損耗，再到數(shù)據(jù)中心安全控制系統(tǒng)更新升級，需多專業(yè)共同攻關，加大科研投入，從散熱冷卻材料到適配服務器各個關鍵環(huán)節(jié)同步推進，組建區(qū)域科創(chuàng)綜合體，集中突破共性技術、關鍵技術、“卡脖子”技術，打破產(chǎn)業(yè)瓶頸，降低研發(fā)成本，牢牢把握創(chuàng)新發(fā)展主動權，使綠色數(shù)據(jù)中心設備實現(xiàn)自主研發(fā)、自主生產(chǎn)、自主建造，達到世界領先，將中國制造轉變?yōu)橹袊鴦?chuàng)造，提升數(shù)據(jù)中心行業(yè)核心競爭力。

（三）. 制定科學標準，引導數(shù)據(jù)中心散熱冷卻技術產(chǎn)業(yè)健康發(fā)展

需建立完善的綠色數(shù)據(jù)中心行業(yè)標準，對IT設備、液冷材料、運行維護、供配電、安全及熱控防護等方面制定統(tǒng)一的規(guī)范，形成科學的有機整體，提高從研發(fā)到生產(chǎn)的效率，確保新型散熱冷卻材料、新型IT設備等研發(fā)工作的順利開展，不同行業(yè)關鍵技術合理對接，及時轉化為生產(chǎn)力，做到技術之間、技術與產(chǎn)業(yè)之間深度融合，實現(xiàn)產(chǎn)業(yè)科學管理、跨界融合示范工程，降低運行維護成本，促進數(shù)據(jù)中心市場健康有序發(fā)展，創(chuàng)造新的應用場景，產(chǎn)生新的消費需求。

（四）. 完善產(chǎn)業(yè)布局，實現(xiàn)東西部數(shù)據(jù)中心建設協(xié)同推進

數(shù)據(jù)中心的地理位置分布決定最佳散熱冷卻技術應用方案，實現(xiàn)風冷技術與液冷技術協(xié)同發(fā)展。中西部地區(qū)電量充沛，電價和地價低廉，且全年平均氣溫低，空氣清潔，滿足新風制冷環(huán)境要求，適合構建新風制冷數(shù)據(jù)中心帶，符合綠色高能效發(fā)展趨勢。但由于空氣本身熱導率低，無法冷卻高功率密度的服務器，從制冷成本角度出發(fā)，盡量少采用刀片式等高可用、高密度的服務器平臺。對于證券交易、高科技、金融通信等對于網(wǎng)絡延遲和服務器類型有特殊需求的行業(yè)，避免數(shù)據(jù)遠距離傳輸，不建議通過中西部新風數(shù)據(jù)中心進行數(shù)據(jù)處理。在我國東部大中型城市建立數(shù)據(jù)中心需綜合考慮多方面因素。首先是土地資源緊張，地價較高；其次是人口密集，空調機組等噪聲對居民正常生產(chǎn)生活影響較大；最后是電價等運維成本較高等。綜合多方面考慮，高功率密度、運行安靜、選址靈活的液冷數(shù)據(jù)中心更適用于東部地區(qū)。

（五）. 注重清潔能源與余熱利用，實現(xiàn)數(shù)據(jù)中心的綠色化發(fā)展

數(shù)據(jù)中心支撐龐大的數(shù)據(jù)存儲與運算，本質上是高耗能產(chǎn)業(yè)。實現(xiàn)數(shù)據(jù)中心減碳降碳甚至碳中和就需要優(yōu)化數(shù)據(jù)中心的能源供應結構。風能、光伏發(fā)電等可再生能源形式可以與數(shù)據(jù)中心產(chǎn)業(yè)充分融合。雖然這類能源形式具有間歇不穩(wěn)定的特點，但可以通過科學設計改善數(shù)據(jù)中心的電力結構，逐步增加“綠電”的使用比例。同時，可再生能源的價格和可用性相對平穩(wěn)，可使數(shù)據(jù)中心受能源供給的影響更低。此外，數(shù)據(jù)中心在大量耗電的同時產(chǎn)生了大量的低品位熱量，可以考慮將數(shù)據(jù)中心產(chǎn)生的余熱進行二次利用，如為辦公場所提供冬季熱源，或與吸收式制冷技術結合將余熱轉化為冷能進行回收利用。

參考文獻

[1]  中國信息通信研究院 . 數(shù)據(jù)中心白皮書2022年 [R]. 北京 : 中國信息通信研究院 , 2022 .
[2]  Lu T , Lyu X S , Remes M , et al . Investigation of air management and energy performance in a data center in Finland: Case study [J]. Energy Buildings , 2011 , 43 12 : 3360 ? 3372 .
[3]  季曉莉 . 生態(tài)綠色發(fā)展 : 發(fā)電裝機越來越清潔, 數(shù)據(jù)中心越來越節(jié)能 [NOL]. 中國經(jīng)濟導報. 2021-07-29 [ 2022-05-02 ]. http:www.chinadevelopment.com.cnnewsny2021071737167.shtml .
[4]  Bao K L , Wang X H , Fang Y B , et al . Effects of the surfactant solution on the performance of the pulsating heat pipe [J]. Applied Thermal Engineering , 2020 , 178 : 115678 .
[5]  賽迪顧問股份有限公司 . 中國液冷數(shù)據(jù)中心發(fā)展白皮書 [EBOL]. 2020-12-05 [ 2022-04-15 ]. http:www.ysdjc.cnPrivateFiles202101076374561177902446434712543.pdf .
[6]  朱永忠 . 數(shù)據(jù)中心制冷技術的應用及發(fā)展 [J]. 工程建設標準化 , 2015 8 : 62 ? 66 .
[7]  景傳剛 , 李楠 , 宋曉偉 . 不同功率密度機柜對數(shù)據(jù)中心的影響分析 [J]. 通信電源技術 , 2019 , 36 10 : 4 .
[8]  成彬 , 王濤 , 武紅光 , 等 . 中國電信數(shù)據(jù)中心節(jié)能減排的策略及其應用 [J]. 節(jié)能 , 2012 , 31 1 : 4 ? 8 .
[9]  Garimella S V , Yeh L T , Persoons T . Thermal management challenges in telecommunication systems and data centers [J]. IEEE Transactions on Components , Packaging and Manufacturing Technology , 2012 , 2 8 : 1307 ? 1316 .
[10]  Liu Y , Guan R B , Jing M , et al . Research of data center fresh air ventilation cooling system [J]. Lecture Notes in Electrical Engineering , 2014 , 262 : 299 ? 306 .
[11]  Geng H Y . Data center handbook [M]. Hoboken : John Wiley Sons , 2014 .
[12]  Tuma P E . The merits of open bath immersion cooling of datacom equipment [C]. Santa Clara : Proceedings of the 2010 26th Annual IEEE Semiconductor Thermal Measurement and Management Symposium , 2010.
[13]  ELLSWORTH M J . Flow network analysis of the IBM Power 775 supercomputer Water Cooling System [C]. Orlando : Proceedings of the 2014 IEEE Intersociety Conference on Thermal and Thermomechanical Phenomena in Electronic Systems , 2014 .
[14]  肖新文 . 直接接觸冷板式液冷冷卻數(shù)據(jù)中心的熱回收探討 [J]. 建筑節(jié)能 , 2020 , 48 2 : 69 ? 73 .
[15]  謝麗娜 , 郭亮 . 對液冷技術及其發(fā)展的探討 [J]. 信息通信技術與政策 , 2019 , 296 2 : 29 ? 32 .
[16]  Han X H , Wang X H , Zheng H C , et al . Review of the development of pulsating heat pipe for heat dissipation [J]. Renewable and Sustainable Energy Reviews , 2016 , 59 : 692 ? 709 .
[17]  Kheirabadi A C , Groulx D . Cooling of server electronics: A design review of existing technology [J]. Applied Thermal Engineering , 2016 , 105 : 622 ? 638 .
[18]  Mcglen R J , Jachuck R , Lin S . Integrated thermal management techniques for high power electronic devices [J]. Applied Thermal Engineering , 2004 , 24 8 ? 9 : 1143 ? 1156 .
[19]  鄭思明 . 熱管技術在數(shù)據(jù)中心冷卻系統(tǒng)中的應用 [J]. 綠色科技 , 2019 24 : 187 ? 188 .
[20]  田浩 , 李震 . 基于環(huán)路熱管技術的數(shù)據(jù)中心分布式冷卻方案及其應用 [J]. 世界電信 , 2011 10 : 48 ? 52 .
[21]  EL-GENK M S . Immersion cooling nucleate boiling of high power computer chips [J]. Energy Conversion Management , 2012 , 53 1 : 205 ? 218 .
[22]  鐘楊帆 , 郭銳 , 張京 , 等 . 基于電子氟化液的單相浸沒液冷服務器長期可靠性評估 [J]. 中國電信業(yè) , 2021 S1 : 55 ? 60 .
[23]  Park J E , Thome J R . Critical heat flux in multi-microchannel copper elements with low pressure refrigerants [J]. International Journal of Heat Mass Transfer , 2010 , 53 1 ? 3 : 110 ? 122 .
[24]  Kim J . Spray cooling heat transfer: The state of the art [J]. International Journal of Heat Fluid Flow , 2007 , 28 4 : 753 ? 767 .
[25]  Guo D , Wei J J , Zhang Y H . Enhanced flow boiling heat transfer with jet impingement on micro-pin-finned surfaces [J]. Applied Thermal Engineering , 2011 , 31 11 ? 12 : 2042 ? 2051 .
[26]  Johnston A , Stone D , Cader T . SprayCool command post platform for harsh military environments [C]. San Jose : 2008 Twenty-fourth Annual IEEE Semiconductor Thermal Measurement and Management Symposium , 2008.
[27]  Qiu L , Dubey S , Choo F H , et al . Recent developments of jet impingement nucleate boiling [J]. International Journal of Heat and Mass Transfer , 2015 , 89 : 42 ? 58 .
[28]  劉紹彥 , 阮琳 , 康玉慧 . 噴霧冷卻軸線處的霧化特性的實驗研究與數(shù)值分析 [J]. 科學技術與工程 , 2018 2 : 225 ? 229 .
[29]  Yang J , Chow L C , Paris M R . Nucleate boiling heat transfer in spray cooling [J]. Journal Heat Transfer , 1996 , 118 3 : 668 ? 671 .
[30]  Silk E A , Golliher E L , Selvam R P . Spray cooling heat transfer: Technology overview and assessment of future challenges for micro-gravity application [J]. Energy Conversion Management , 2008 , 49 3 : 453 ? 468 .
[31]  Rasmussen N . An improved architecture for high-efficiency, high-density data centers [J]. Green Grid White Paper , 2008 , 126 : 1 ? 25 .
[32]  Joshi Y , Kumar P . Energy efficient thermal management of data centers [M]. Boston : Springer , 2012 .
[33]  Takahashi M , Uekusa T , Kishita M , et al . Aisle-capping method for airflow design in data centers [C]. San Diego : proceedings of the Telecommunications Energy Conference , 2008 .
[34]  Bash C E , Patel C D , Sharma R K . Efficient thermal management of data centers—Immediate and long-term research needs [J]. Hvac R Research , 2003 , 9 2 : 137 ? 152 .
[35]  Ayou D S , Bruno J C , Saravanan R , et al . An overview of combined absorption power and cooling cycles [J]. Renewable Sustainable Energy Reviews , 2013 , 21 : 728 ? 748 .
[36]  Brunschwiler T , Smith B , Ruetsche E , et al . Toward zero-emission data centers through direct reuse of thermal energy [J]. IBM Journal of Research and Development , 2009 , 53 3 : 1 ? 13 .
[37]  Ebrahimi K , Jones G F , Fleischer A S . A review of data center cooling technology, operating conditions and the corresponding low-grade waste heat recovery opportunities [J]. Renewable Sustainable Energy Reviews , 2014 , 31 2 : 622 ? 638 .
[38]  孫翠鋒 , 張琳 . 數(shù)據(jù)中心服務器技術發(fā)展趨勢與應用 [J]. 通信世界 , 2021 10 : 37 ? 38 .