1引言

隨著大數(shù)據(jù)?人工智能等技術(shù)的蓬勃發(fā)展,數(shù)據(jù)中心承載業(yè)務(wù)對算力的需求不斷提高,進而導(dǎo)致數(shù)據(jù)中心規(guī)模不斷擴大?單機架功率持續(xù)提升?數(shù)據(jù)中心規(guī)模的擴大和單機架功率的提升使數(shù)據(jù)中心能耗不斷增長,居高不下的能耗不僅給企業(yè)帶來了沉重的成本支出,也對社會能源?資源造成了極大的消耗?與此同時,數(shù)據(jù)中心單機功率密度的提升使得數(shù)據(jù)中心熱量集聚問題愈發(fā)凸顯,傳統(tǒng)風(fēng)冷制冷方式散熱能力不足的缺陷逐漸暴露出來,成為影響單機架功率密度提升的主要因素?

當(dāng)前,我國正處于數(shù)字化轉(zhuǎn)型的關(guān)鍵時期,各行業(yè)對數(shù)據(jù)中心算力的需求將保持高速增長,單機架功率密度預(yù)期仍將進一步提升;而數(shù)據(jù)中心的綠色發(fā)展也受到了社會的格外關(guān)注?因此,必須創(chuàng)新數(shù)據(jù)中心制冷方式以應(yīng)對挑戰(zhàn)?作為一項全新的革命性“產(chǎn)物”,液冷技術(shù)的興起,全面改變了數(shù)據(jù)中心基礎(chǔ)設(shè)施建設(shè)?而冷板式液冷以其技術(shù)成熟?方便易用的特性,廣受業(yè)界關(guān)注?本文主要對冷板式液冷技術(shù)發(fā)展與應(yīng)用現(xiàn)狀進行了分析,以期更好明晰產(chǎn)業(yè)發(fā)展動向?

2液冷及冷板式液冷技術(shù)發(fā)展歷程

20世紀(jì)60年代,IBM推出了采用液冷系統(tǒng)的System/360型91大型計算機,這款產(chǎn)品以高速度和高性能優(yōu)勢被廣泛運用?但在很長的一段時間內(nèi),液冷技術(shù)并沒有得到有效的發(fā)展,主要原因是早期數(shù)據(jù)中心規(guī)模小?機架功率密度低,對液冷的需求并不強烈?其次,與風(fēng)冷技術(shù)相比,液冷技術(shù)在系統(tǒng)部署?制冷原理以及技術(shù)方向等方面存在較大的研發(fā)及應(yīng)用困難?因此,在很長一段時間內(nèi),數(shù)據(jù)中心液冷技術(shù)發(fā)展緩慢,數(shù)據(jù)中心制冷仍然以風(fēng)冷為主?而近年來,隨著互聯(lián)網(wǎng)?人工智能?大數(shù)據(jù)等應(yīng)用的不斷創(chuàng)新和發(fā)展,不但快速推動了數(shù)據(jù)中心應(yīng)用場景的變革,而且也加快了底層技術(shù)如液冷等的發(fā)展步伐?

按照是否與發(fā)熱的器件產(chǎn)生直接接觸的形式,將液冷技術(shù)分為接觸和非接觸式兩種類型?接觸式液冷中冷卻液與發(fā)熱器件可直接接觸,接觸式液冷技術(shù)的具體實現(xiàn)方案主要包括浸沒式和噴淋式液冷,非接觸式液冷技術(shù)的典型方案是冷板式液冷?浸沒式液冷往往需要對IT設(shè)備進行定制化改造和設(shè)計,對機房現(xiàn)有IT基礎(chǔ)設(shè)施改造幅度較大,技術(shù)難度較高?噴淋式液冷通過在機箱頂部儲液和開孔方式讓冷卻液對發(fā)熱體進行噴淋,噴淋式液冷對機箱改造幅度較小,但是在制冷過程中可能會產(chǎn)生冷卻液遇高溫飄逸和蒸發(fā)現(xiàn)象,這些霧滴經(jīng)機箱孔洞散發(fā)到機箱外后可能會降低機房清潔度,并對機房內(nèi)其他設(shè)備造成影響,而冷板式液冷技術(shù)對服務(wù)器的改造幅度也相對較小,且安全性較高?

上述三種液冷技術(shù)方案中,冷板式液冷技術(shù)是應(yīng)用最早?普及率最高的液冷制冷方式,其可操作性和市場的成熟度也相對較高?國內(nèi)外在研究冷板式的應(yīng)用上具有較多的實踐案例,其中IBM的SuperMUC則充分利用了冷板式的制冷特點,該超算中心水冷系統(tǒng)具有3072個溫水水冷計算節(jié)點,共計86016個計算內(nèi)核?由于德國常年氣溫都低于35度,超算中心實現(xiàn)了全年自然冷卻的效果,為業(yè)界的綠色HPC系統(tǒng)標(biāo)桿?如今德國慕尼黑部署超算中心(LRZ)在SuperMUC-NG集群上運行了750個應(yīng)用程序,2000多名科學(xué)家可通過自助模式隨時訪問HPC資源?

與國外相比,我國的數(shù)據(jù)中心發(fā)展相對較晚,初期發(fā)展過程中對數(shù)據(jù)中心的能耗方面重視較低,大部分?jǐn)?shù)據(jù)中心PUE(PowerUsageEffectiveness)保持在2.2~3.0之間?近年來,不少數(shù)據(jù)中心都積極嘗試包括冷板式液冷在內(nèi)的新技術(shù)?2015年,中科院使用冷板式液冷服務(wù)器建設(shè)了“地球系統(tǒng)數(shù)值模擬裝置原型系統(tǒng)”,通過大量的實驗測試,不但有效降低了PUE的值,而且也大幅度降低了能源消耗,在一定程度上提升了計算性能?

總體來看,液冷技術(shù)的應(yīng)用使得數(shù)據(jù)中心的PUE值得到改善,而且能效水平得到了明顯的提升?目前,國內(nèi)外在冷板式液冷方面,均進行了較多的嘗試,并取得了較好的進展?國內(nèi)以華為的全液冷系統(tǒng)為例,其利用液冷技術(shù),較好的實現(xiàn)了IT設(shè)備的高密度部署,提高數(shù)據(jù)中心能源使用效率?

3冷板式液冷技術(shù)分析

當(dāng)前,冷板式?噴淋式以及浸沒式等類型,屬于業(yè)界典型的液冷技術(shù)?本文主要以冷板式液冷技術(shù)為主要研究內(nèi)容,本章對冷板式液冷系統(tǒng)設(shè)計?優(yōu)勢及現(xiàn)存問題進行介紹?

3.1冷板式液冷系統(tǒng)設(shè)計

冷板式液冷主要通過冷板(銅?鋁等高導(dǎo)熱金屬構(gòu)成的封閉腔體)將元器件的熱量間接傳遞給封閉在循環(huán)管道中的冷卻液體,然后利用冷卻液體將熱量帶走,其通過工作流體的傳遞特點將中間熱量運輸?shù)胶蠖诉M行冷卻?液冷主要的循環(huán)過程,如圖1所示?首先,在機柜上設(shè)置分水器;其次,對接進出水管路提供給計算節(jié)點的進出口,以節(jié)點內(nèi)的冷板管為媒介,完成液體的循環(huán);最后,將CDU與外部管路連接的接頭連接,完成液冷循環(huán)?

如圖2?圖3所示,在冷板式液冷的設(shè)計過程中,主要由一次側(cè)與二次側(cè)的相關(guān)設(shè)備構(gòu)成,一次側(cè)通過冷卻液體與發(fā)熱部件的熱量進行相互交換的方式降低冷卻液的溫度;二次側(cè)完成發(fā)熱部件與冷卻液體熱量的交換,液體升溫帶走部件熱量?通過一次側(cè)和二次側(cè)的結(jié)合實現(xiàn)了冷板式液冷系統(tǒng)的整機液體循環(huán),進而成為IT設(shè)備散熱的目標(biāo)?

數(shù)據(jù)中心的可用性一直以來都受到業(yè)內(nèi)的主要關(guān)注,冗余設(shè)備及部件的應(yīng)用,將會有效提高數(shù)據(jù)中心可用性?在使用冷板式液冷的過程中,為了保障整個系統(tǒng)一次側(cè)和二次側(cè)有較高的可用性,則應(yīng)對關(guān)鍵設(shè)施進行冗余裝配,具體情況如下:

(1) 一次側(cè)設(shè)備冗余:主要由室外機等設(shè)備組成,通常情況下,采用N+1冗余已經(jīng)可以較好的實現(xiàn)日常維護并應(yīng)對突發(fā)事件;

(2) 二次側(cè)設(shè)備冗余:關(guān)鍵設(shè)備為冷卻液分配單元(CDU),一般可以根據(jù)系統(tǒng)的規(guī)模?以及對安全性的要求進行設(shè)備的冗余配置,若對大規(guī)模的系統(tǒng)要求較高的安全系數(shù),采用不低于N+1冗余配置的應(yīng)用較為合適;

(3) 液體管路冗余:從管路的可靠性,以及設(shè)備的經(jīng)濟性和易用性等角度出發(fā),一般冷板式液冷的液體管路可以按照無冗余的方式進行配置?

3.2冷板式液冷的優(yōu)勢

為了提高數(shù)據(jù)中心的散熱效率,產(chǎn)業(yè)界做了大量嘗試,但相關(guān)技術(shù)均存在一定的局限性,而冷板式液冷技術(shù)在應(yīng)用方面,具有以下優(yōu)勢:

(1) 材料兼容性好?冷板式液冷技術(shù)在冷卻液管路中流動時,并未與主板和芯片模塊進行直接的接觸,材料兼容性較強?而且在選擇冷卻液時,可只考慮冷卻液與循環(huán)管路以及冷板之間的兼容性問題；

(2) 對發(fā)熱器件的要求較低,安裝較為簡捷?冷板式技術(shù)不改變服務(wù)器主板原有的形態(tài),而是在保留現(xiàn)有服務(wù)器主板時,對其進行改裝實現(xiàn)?這種改裝方式不僅拆卸簡單?安裝方便,而且在技術(shù)?產(chǎn)業(yè)以及規(guī)模化生產(chǎn)上具有更好的可行性；

(3) 成本較低,應(yīng)用發(fā)展快?高昂的水冷機組極大的提高了數(shù)據(jù)中心建設(shè)的總體成本,而冷板式液冷技術(shù)的應(yīng)用替代了高成本的水冷機組,有效的降低了總成本的消耗量?采用冷板式液冷技術(shù)不但可以有效提高數(shù)據(jù)中心的能源利用率,而且在適應(yīng)數(shù)據(jù)中心的高密度需求方面也較為符合；

(4) 高密度?高效能?高可靠?采用冷板式液冷系統(tǒng)后,可以實現(xiàn)機架功率密度的提高,有效提升單機架的計算能力;冷板式液冷系統(tǒng)相對風(fēng)冷在能效方面,也將具備高效能的特點?同時,相對于風(fēng)冷,在產(chǎn)業(yè)界進一步對液體?管理和設(shè)備冗余進行更為合理的設(shè)計和應(yīng)用后,液冷也將具有比風(fēng)冷更高的可靠性?

3.3冷板式液冷現(xiàn)存問題

目前,冷板式液冷技術(shù)發(fā)展中面臨一些困難?

3.3.1需要解決機房適配問題

冷板式液冷方式的部署環(huán)境與傳統(tǒng)的機房管路配置相比不但具有很大的差異性,而且在部署傳統(tǒng)機房的液冷系統(tǒng)時會消耗較大的部署成本?包括轉(zhuǎn)接頭之類的部件兼容性也是機房適配需要考慮的問題?

3.3.2相關(guān)標(biāo)準(zhǔn)需進一步完善

目前,基于開放數(shù)據(jù)中心委員會(ODCC)的研究成果,中國通信標(biāo)準(zhǔn)化協(xié)會發(fā)布了系列液冷團體標(biāo)準(zhǔn)?這些標(biāo)準(zhǔn)可以進行框架性指導(dǎo),但需要更加細(xì)節(jié)性的技術(shù)規(guī)范對冷板式液冷部署和液體相關(guān)進行標(biāo)準(zhǔn)化規(guī)范管理,為后續(xù)大規(guī)模部署奠定良好基礎(chǔ)?

3.3.3急需專項資金支持

液冷技術(shù)是一項成本耗費巨大的工程項目,不但需要具有優(yōu)秀的服務(wù)器研發(fā)能力,同時還需要具備相關(guān)流體方面的技術(shù)實力,還需要機房風(fēng)火水電等基礎(chǔ)設(shè)施的整體配合,投入較大?見效較慢,如有相關(guān)專項資金的支持將會提升該技術(shù)的應(yīng)用進度?

4冷板式液冷應(yīng)用實踐

為了實現(xiàn)冷板式液冷系統(tǒng)的穩(wěn)定運行,冷板式液冷必須在相關(guān)技術(shù)方面取得突破,本文對冷板式液冷的技術(shù)及業(yè)界具體實踐進行了分析?

4.1液冷與風(fēng)冷的結(jié)合應(yīng)用

冷板式液冷通過設(shè)備內(nèi)部的管路,實現(xiàn)了將大功耗部件產(chǎn)生熱量,使用液體冷卻介質(zhì)帶走的目的?通常情況下,設(shè)備內(nèi)部熱量較少的器件,仍將采用風(fēng)冷的形式進行散熱,如硬盤?接口卡等設(shè)備?因此,與采用風(fēng)冷的散熱形式相比,液冷與風(fēng)冷的結(jié)合有效降低了損耗的效率,成為業(yè)內(nèi)典型的應(yīng)用模式?如圖4所示,為目前業(yè)界采用的方案之一,其直接液冷部分采用冷板的形式,為大功率發(fā)熱部件;其間接液冷部分,通過換熱器,實現(xiàn)風(fēng)冷系統(tǒng)的熱風(fēng)與一次側(cè)冷卻液體的熱量交換,從而利用冷卻液體將熱量帶出機房?液冷與風(fēng)冷的結(jié)合,不但可以通過利用液體冷卻的技術(shù)進行高效率的散熱;而且也可以采用風(fēng)冷的形式,為發(fā)熱功率較低的部件進行散熱,也降低了系統(tǒng)的設(shè)計和使用難度,并有利于在總體上實現(xiàn)效果?成本的最優(yōu),也有利于系統(tǒng)更為靈活的應(yīng)用?

4.2水質(zhì)監(jiān)控技術(shù)應(yīng)用

冷卻液是液冷系統(tǒng)進行熱量交換的主要媒介,因此,如何挑選合適的冷卻液成為眾多企業(yè)研究的主要目標(biāo)?應(yīng)用層面,選取冷卻液應(yīng)當(dāng)考慮環(huán)保?穩(wěn)定?經(jīng)濟以及電化學(xué)反映等因素;另一方面,也要采用技術(shù)手段,監(jiān)測水質(zhì)等情況,以進行響應(yīng)的預(yù)防和處理?當(dāng)前,冷板式液冷的冷卻液包括乙二醇?水等,在水質(zhì)監(jiān)測方面,包括pH值?液體濃度?微生物總數(shù)等指標(biāo),冰點儀?pH計以及折光儀等成為監(jiān)測所采用的設(shè)備或者方法?

4.3熱回收技術(shù)應(yīng)用

數(shù)據(jù)中心的余熱利用是企業(yè)長期關(guān)注的重點研究內(nèi)容,不但可以大幅度提高能源的利用效率,而且也穩(wěn)定了系統(tǒng)的可靠性能?當(dāng)前的制冷設(shè)備無法直接吸收數(shù)據(jù)中心的低品位余熱,而液冷冷板式散熱器在降低消耗額外電能的情況下,可直接吸收低品位余熱?液冷散熱的運行水溫具有長期不變的特點,因此與其他的機組相比,液冷散熱的節(jié)能效果極為顯著,不但在吸收冷凝熱方面具有較大的優(yōu)勢,而且具有較高的綜合能效比?

5結(jié)束語

在數(shù)字經(jīng)濟高速發(fā)展的時代,數(shù)據(jù)中心規(guī)模的不斷擴大?單機架功率密度快速提升,對數(shù)據(jù)中心制冷和能耗帶來了前所未有的挑戰(zhàn),多數(shù)企業(yè)已經(jīng)意識到建立低能耗?高制冷效率以及高節(jié)能數(shù)據(jù)中心的重要性?

在數(shù)據(jù)中心的建設(shè)與運營過程中,液冷數(shù)據(jù)中心雖具有架構(gòu)簡單?低能耗的特點,但處于初步發(fā)展階段的液冷技術(shù),在設(shè)備研發(fā)?冷卻液穩(wěn)定性?運維等方面,還有諸多問題急需解決?冷板式液冷技術(shù)作為液冷技術(shù)重要的實現(xiàn)方式之一,目前已經(jīng)逐步開始在產(chǎn)業(yè)界進行應(yīng)用?針對冷板式液冷技術(shù),本文從技術(shù)和應(yīng)用兩方面進行了分析?未來,冷板式液冷技術(shù)除了其本身的演進外,也必將對機房?供配電?IT設(shè)備等產(chǎn)生巨大的影響?業(yè)界應(yīng)當(dāng)高度關(guān)注液冷技術(shù)的變革,并研究其對數(shù)據(jù)中心建設(shè)的影響,進而推動技術(shù)的應(yīng)用,實現(xiàn)高效能數(shù)據(jù)中心的建設(shè)?

來源：網(wǎng)絡(luò)

本文標(biāo)題：冷板式液冷技術(shù)與應(yīng)用現(xiàn)狀分析

本文鏈接：http://www.yangziriver.cn/faq3/214.html
[版權(quán)聲明]除非特別標(biāo)注，否則均為本站原創(chuàng)文章，轉(zhuǎn)載時請以鏈接形式注明文章出處。