算力需求推動(dòng)著數(shù)據(jù)中心功率密度不斷提升,能耗、發(fā)熱量持續(xù)攀升。同時(shí)，國家“雙碳”戰(zhàn)略的實(shí)施對于數(shù)據(jù)中心PUE提出更為嚴(yán)苛的要求，傳統(tǒng)風(fēng)冷方案已難以滿足IT設(shè)備散熱需求，液冷技術(shù)的出現(xiàn)為行業(yè)帶來了革命性、高效解決方案。

液冷技術(shù)是指使用液體取代空氣作為冷卻介質(zhì)，為服務(wù)器發(fā)熱部件進(jìn)行散熱的技術(shù)。液冷技術(shù)的高效制冷效果有效提升了服務(wù)器的使用效率和穩(wěn)定性，在單位空間可以集成更多的服務(wù)器，提高數(shù)據(jù)中心運(yùn)算效率，因減少或取消風(fēng)扇而兼具降噪、減少故障點(diǎn)的優(yōu)勢，余熱利用也可為數(shù)據(jù)中心創(chuàng)造更多附加價(jià)值。

1.液冷是高密度IDC能耗優(yōu)化的技術(shù)趨勢

當(dāng)前，福建省現(xiàn)網(wǎng)數(shù)據(jù)中心機(jī)架規(guī)模已近5萬個(gè)標(biāo)準(zhǔn)機(jī)架（2.5kw/機(jī)架），平均實(shí)測PUE（Power Usage Effectiveness，電能利用效率）為1.69，距離國家提出“2025年新建大型、超大型數(shù)據(jù)中心PUE要低于1.3”的要求還有一定差距，需要行業(yè)通過節(jié)能改造、加快市場拓展、升級(jí)迭代等多措并舉，推動(dòng)行業(yè)綠色低碳化高質(zhì)量發(fā)展。

圖1 數(shù)據(jù)中心能耗分布圖

數(shù)據(jù)中心是眾所周知的行業(yè)耗能大戶，其中散熱能耗占比超40%。據(jù)賽迪研究院統(tǒng)計(jì)，43%的能耗是用于數(shù)據(jù)中心設(shè)備散熱，與數(shù)據(jù)中心設(shè)備自身能耗45%基本持平。根據(jù)中國信息通信研究院的研究，數(shù)據(jù)中心電費(fèi)占數(shù)據(jù)中心TCO（整體運(yùn)營支出）的60%~70%?？梢?，實(shí)現(xiàn)更高效的散熱，無論是對于數(shù)據(jù)中心節(jié)能降耗、減少TCO，還是推動(dòng)數(shù)據(jù)中心朝著大型化、智能化方向發(fā)展都具有重大意義。

相比傳統(tǒng)風(fēng)冷技術(shù)，液冷的優(yōu)勢體現(xiàn)在三個(gè)方面。

一是液冷技術(shù)的高效制冷效果（液體帶走熱量是同體積空氣的3000倍，液體導(dǎo)熱能力是空氣的25倍）有效提升了服務(wù)器的使用效率、降低故障率，同時(shí)使得數(shù)據(jù)中心在單位物理空間可以部署更多的服務(wù)器，提高數(shù)據(jù)中心運(yùn)算效率。

二是液冷技術(shù)的應(yīng)用，替代了傳統(tǒng)數(shù)據(jù)中心的風(fēng)扇、精密空調(diào)等風(fēng)冷基礎(chǔ)設(shè)施，相應(yīng)增加了循環(huán)泵及冷卻液系統(tǒng)，與傳統(tǒng)的空調(diào)系統(tǒng)相比噪聲更小。

三是液冷技術(shù)應(yīng)用不受海拔、氣壓等地域影響，可以保持較高的散熱效率，保證數(shù)據(jù)中心在高海拔地區(qū)的運(yùn)行效率和性能，余熱還可以滿足附近居民的供暖、溫水供應(yīng)等需求，為數(shù)據(jù)中心創(chuàng)造更多的附加價(jià)值。

因此，液冷替代風(fēng)冷是高密度數(shù)據(jù)中心演進(jìn)不可或缺的散熱技術(shù)方向。

2.數(shù)據(jù)中心液冷技術(shù)

按照冷卻液與發(fā)熱器件的接觸方式，行業(yè)將液冷技術(shù)分為“間接接觸型”和“直接接觸型”兩大類。

間接接觸型液冷技術(shù)

冷板式液冷是最典型的間接接觸型液冷技術(shù)。冷板式液冷系統(tǒng)中，服務(wù)器芯片等發(fā)熱器件不直接接觸冷卻液，而是通過裝配在需要冷卻的電子元器件上的冷板（通常是銅、鋁等高導(dǎo)熱金屬構(gòu)成的封閉腔體）將熱量間接傳導(dǎo)給封閉在循環(huán)管路中的冷卻液體，通過冷卻液體將熱量帶走的一種散熱方式。

冷板式液冷數(shù)據(jù)中心散熱系統(tǒng)架構(gòu)由室外（一次側(cè)）和室內(nèi)（二次側(cè)）兩部分組成，室外冷卻塔中的冷卻液通過室內(nèi)冷卻液體流量分配單元（CDU）提供冷卻液循環(huán)動(dòng)力，經(jīng)冷卻液體流量分配單元（CDU）二次側(cè)輸出并與服務(wù)器中CPU、GPU、內(nèi)存等發(fā)熱量大的電子元器件導(dǎo)熱冷板直接進(jìn)行熱交換，形成的熱液經(jīng)冷卻液體流量分配單元（CDU）輸出到室外冷卻塔進(jìn)行冷卻后再循環(huán)。而服務(wù)器中的硬盤、電源等其他發(fā)熱量相對小一些的器件或單元還是得需要通過傳統(tǒng)風(fēng)冷方式散熱。

直接接觸型液冷技術(shù)

直接接觸型液冷技術(shù)是將發(fā)熱部件直接浸沒在不導(dǎo)電的冷卻液體中，利用冷卻液體蒸發(fā)（相變）和液體的循環(huán)流動(dòng)帶走熱量的一種散熱方式。

浸沒式液冷是最典型的直接接觸型液冷技術(shù)，顧名思義就是將服務(wù)器浸沒在特殊設(shè)計(jì)（或定制化設(shè)計(jì)）的箱體TANK中。浸沒式液冷由于發(fā)熱部件與冷卻液體直接接觸，相比冷板式液冷技術(shù)，浸沒式液冷散熱效率更高，噪音更低（完全沒有風(fēng)扇），更加節(jié)能。

而根據(jù)冷卻液體是否存在相態(tài)改變，浸沒式液冷還可以進(jìn)一步分為“浸沒式單相液冷”和“浸沒式相變液冷”兩種。

浸沒式單相液冷。在浸沒式單相液冷中，冷卻液始終保持液體狀態(tài)，發(fā)熱部件直接浸沒在冷卻液中，熱量從發(fā)熱部件直接傳導(dǎo)到冷卻液中，循環(huán)泵將吸收了熱量的冷卻液（熱液）導(dǎo)入熱交換單元，在熱交換單元中冷卻后再循環(huán)回到箱體中為發(fā)熱部件散熱，冷卻液在循環(huán)散熱過程中始終維持液態(tài)，不發(fā)生相變。

浸沒式單相液冷技術(shù)要求冷卻液的沸點(diǎn)較高，以確保冷卻液（一般為礦物油、合成油、天然油等氟碳化合物和碳?xì)浠衔铮┰谘h(huán)散熱過程中始終保持液態(tài)，冷卻液揮發(fā)流失控制相對簡單，與IT設(shè)備的電氣兼容性較好，且不需要頻繁補(bǔ)充冷卻液，還可以比較方便地卸載或更換服務(wù)器組件，提高了系統(tǒng)的可維護(hù)性。目前市面上商用的浸沒式液冷應(yīng)用案例大部分是采用浸沒式單相液冷系統(tǒng)。

浸沒式相變液冷。浸沒式相變液冷的冷卻液在循環(huán)散熱過程中，不斷經(jīng)歷從液態(tài)到氣態(tài)，再從氣態(tài)回到液態(tài)的相變。IT設(shè)備完全浸沒在充滿低沸點(diǎn)冷卻液的密閉箱體中，冷卻液受熱沸騰變?yōu)檎羝?，蒸汽上升遇到機(jī)箱上部冷凝器而冷凝變?yōu)橐后w，繼續(xù)回到箱體內(nèi)部冷卻循環(huán)。冷凝器外接冷源進(jìn)行換熱，將熱量傳遞到外界散熱并反復(fù)循環(huán)。通過冷卻液在機(jī)箱內(nèi)循環(huán)和冷凝器內(nèi)乙二醇水溶液的外循環(huán)（雙循環(huán)系統(tǒng)）實(shí)現(xiàn)高效散熱，確保服務(wù)器運(yùn)行穩(wěn)定。

由于冷卻液在循環(huán)散熱過程中發(fā)生了相變，相變液冷傳熱效率更高，并且無需泵機(jī)驅(qū)動(dòng)冷卻液體循環(huán)，因此浸沒式相變液冷相比冷板式液冷和浸沒式單相液冷，具有更優(yōu)的傳熱效果，可以滿足高發(fā)熱元器件對散熱的極端要求，使得服務(wù)器可以保持滿功率運(yùn)行，是液冷中最節(jié)能、最高效的制冷模式。但是，由于冷卻液蒸發(fā)為氣態(tài)過程中會(huì)發(fā)生蒸汽外溢流失，浸沒式相變液冷對于冷卻液揮發(fā)流失控制更為復(fù)雜，所以對服務(wù)器箱體的密封性以及箱體的壓力有一定的要求，同時(shí)還必須考慮相變過程的氣壓變化，以及系統(tǒng)維護(hù)時(shí)可能造成維護(hù)人員吸入氣體的健康風(fēng)險(xiǎn)。另外，冷卻液本身易受到污染，需要預(yù)處理和污染控制以確保系統(tǒng)的正常運(yùn)行；浸沒式液冷對于服務(wù)器板件的維護(hù)操作有所改變等。這些都是浸沒式相變液冷技術(shù)成熟和商用化進(jìn)程需要面對的挑戰(zhàn)。

3.數(shù)據(jù)中心液冷化改造建設(shè)

數(shù)據(jù)中心液冷化改造適用技術(shù)

技術(shù)成熟情況。通過近些年的發(fā)展，冷板式液冷技術(shù)相比浸沒式液冷技術(shù)更為成熟、生態(tài)比較完善。理論上，冷板式液冷技術(shù)對現(xiàn)有服務(wù)器芯片組件及附屬部件改動(dòng)量較小，液冷化改造可操作性相對較強(qiáng)。對于當(dāng)前的數(shù)據(jù)中心整體架構(gòu)及后續(xù)維護(hù)及日常使用等影響不大，運(yùn)維模式、機(jī)房承重與傳統(tǒng)風(fēng)冷場景基本一致，可解決數(shù)據(jù)中心服務(wù)器設(shè)備80%的散熱問題，而對于機(jī)柜內(nèi)的硬盤、電源等其他發(fā)熱部件依然需要傳統(tǒng)風(fēng)冷方式散熱。 

浸沒式液冷可以獲得更優(yōu)的PUE值，也有企業(yè)推出了商用化改造建設(shè)解決方案，并落地了一些改造建設(shè)案例，但總體上還處于技術(shù)成熟和商業(yè)化完善階段。例如，浸沒式液冷改造對于服務(wù)器有一定的要求，服務(wù)器箱體需要定制、冷卻液價(jià)格相對較高且有一定的揮發(fā)性，維護(hù)需要專用維護(hù)輔助設(shè)備（機(jī)械吊臂或吊車），大多數(shù)浸沒式液冷服務(wù)器機(jī)柜對于機(jī)房承重提出更高的要求。

市場商用情況。從市場占有情況分析，目前冷板式液冷數(shù)據(jù)中心產(chǎn)品市場上占比較高，互聯(lián)網(wǎng)巨頭以及數(shù)據(jù)中心設(shè)備企業(yè)多推出了商用化冷板式液冷服務(wù)器，但商用化的浸沒式液冷服務(wù)器很少，阿里巴巴等領(lǐng)先企業(yè)多采用企業(yè)定制化的浸沒式液冷服務(wù)器。浸沒式液冷是數(shù)據(jù)中心的躍遷式技術(shù)創(chuàng)新，相較于冷板式液冷制冷效率更高，具有高能效、高密度、高可用和高可靠性等特性，隨著浸沒式液冷技術(shù)的逐漸成熟和生態(tài)完善，未來浸沒式液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施將可能會(huì)成為主流。

投資回收情況。液冷數(shù)據(jù)中心初期建設(shè)投資高于傳統(tǒng)風(fēng)冷數(shù)據(jù)中心，根據(jù)企業(yè)提供的數(shù)據(jù)，按照機(jī)架功率測算，每千瓦造價(jià)要高出約20%~40%。初步測算液冷帶來的電費(fèi)節(jié)省收益，大約2.5~4年液冷數(shù)據(jù)中心總體投資與風(fēng)冷數(shù)據(jù)中心基本持平。具體投資測算受機(jī)架功率密度等配置和現(xiàn)場環(huán)境等影響存在差異，液冷機(jī)柜功率密度越高，單位造價(jià)越低。

表1 數(shù)據(jù)中心主流散熱技術(shù)比較

注：1.因目前暫無國家或行業(yè)規(guī)范標(biāo)準(zhǔn)，冷板式液冷、浸沒式液冷對于機(jī)房承重要求來源于數(shù)據(jù)中心設(shè)備企業(yè)的建議值；2.由于不同冷卻液密度的差異，使得浸沒式液冷機(jī)柜對于承重要求差別較大，采用密度小的合成烴類冷卻液的浸沒式液冷機(jī)柜對于承重要求≧10KN/m2，而采用密度大的氟化物冷卻液的浸沒式液冷機(jī)柜對于承重要求≧15KN/m2；3. 1Kg=9.8N(牛頓）。

綜上所述，理論上，冷板式液冷技術(shù)是現(xiàn)網(wǎng)數(shù)據(jù)中心液冷化改造適用技術(shù)，雖然也有企業(yè)推出了浸沒式單相液冷商用化改造解決方案和落地應(yīng)用案例。但在具體改造實(shí)施上，由于改造必然涉及設(shè)備維保服務(wù)、量身化定制等技術(shù)實(shí)現(xiàn)細(xì)節(jié)，因此還需要結(jié)合現(xiàn)場環(huán)境及定制化、規(guī)?；韧度氘a(chǎn)出因素綜合權(quán)衡決策。數(shù)據(jù)中心設(shè)備企業(yè)大都建議采用連同服務(wù)器和機(jī)柜全新替換方式改造建設(shè)傳統(tǒng)風(fēng)冷機(jī)柜。

數(shù)據(jù)中心液冷化改造對象

從數(shù)據(jù)中心類型分析，應(yīng)用于人工智能、高性能計(jì)算（HPC）等高算力需求場景的算力中心或超算中心適合優(yōu)先采用液冷化技術(shù)改造或液冷機(jī)柜升級(jí)迭代。這是因?yàn)樗懔χ行幕虺阒行闹饕l(fā)熱源是承擔(dān)了大數(shù)據(jù)量計(jì)算或復(fù)雜計(jì)算的算力型服務(wù)器的主芯片（CPU、GPU）和內(nèi)存，且對于CPU、GPU和內(nèi)存的性能要求高，功耗和發(fā)熱量也相對較高，適合部署液冷基礎(chǔ)設(shè)施實(shí)現(xiàn)高效散熱以發(fā)揮滿載性能，同時(shí)也有助于進(jìn)一步提升單機(jī)架功率密度實(shí)現(xiàn)更高計(jì)算性能的輸出。

而存儲(chǔ)類服務(wù)器，通常配置較多硬盤，且對于算力及性能要求一般，配置的CPU一般不需要采用性能和功耗較高的型號(hào)，液冷投資收益不高，因此從投資效益的角度，存儲(chǔ)型服務(wù)器和網(wǎng)絡(luò)設(shè)備建議仍采用傳統(tǒng)風(fēng)冷方式部署。

數(shù)據(jù)中心液冷化改造建設(shè)

以下基于冷板式液冷技術(shù)，對數(shù)據(jù)中心液冷化改造建設(shè)做一個(gè)初步概述：

數(shù)據(jù)中心機(jī)柜的液冷化改造建設(shè)。主要工作量在于對原有機(jī)柜及服務(wù)器的冷板式改造，改造內(nèi)容是配電、布放管路、冷卻液體流量分配單元CDU等，并同步配套調(diào)試漏液監(jiān)測、堵塞等監(jiān)控系統(tǒng)。

數(shù)據(jù)中心機(jī)房的液冷化改造建設(shè)。數(shù)據(jù)中心機(jī)房液冷化改造的主要工作在于鋪設(shè)室內(nèi)外液冷管道、安裝冷卻液體流量分配單元（CDU）、新建或改造冷卻塔等。

數(shù)據(jù)中心機(jī)房的液冷化改造建設(shè)。根據(jù)初步市場調(diào)研情況，超聚變、浪潮、網(wǎng)宿科技等數(shù)據(jù)中心設(shè)備企業(yè)都已經(jīng)推出了商用化改造解決方案，并落地了一些現(xiàn)網(wǎng)數(shù)據(jù)中心改造建設(shè)具體案例。液冷化建設(shè)已經(jīng)為越來越多的數(shù)據(jù)中心企業(yè)所接受，進(jìn)一步推動(dòng)液冷化技術(shù)成熟和商業(yè)生態(tài)完善。

本文標(biāo)題：綠色數(shù)據(jù)中心冷板式液冷技術(shù)應(yīng)用與探索

本文鏈接：http://www.yangziriver.cn/faq3/1081.html
[版權(quán)聲明]除非特別標(biāo)注，否則均為本站原創(chuàng)文章，轉(zhuǎn)載時(shí)請以鏈接形式注明文章出處。