摘要：本文基于實際機房的需求模型，對冷板式液冷數(shù)據(jù)中心機房中的系統(tǒng)設(shè)備進行了設(shè)計選型介紹和平面布局的規(guī)劃設(shè)計，并據(jù)此對冷板式液冷數(shù)據(jù)中心的設(shè)計PUE和WUE進行了詳細(xì)的計算。

關(guān)鍵詞：液冷、冷板式液冷、CDU、PUE、WUE。

1  液冷技術(shù)的現(xiàn)狀

目前市場上存在三種主流液冷方式，分別為冷板式液冷、浸沒式液冷和噴淋式液冷，具體如下圖所示。

圖1：三種液冷方式

冷板式液冷技術(shù)，依托于服務(wù)器廠家的研發(fā)和制造，是我國最早采用的液冷方式，成熟度較高，應(yīng)用較廣泛。目前，聯(lián)想、浪潮、新華三等IT設(shè)備廠商都推出了自己的冷板式液冷的相關(guān)技術(shù)和產(chǎn)品，并在數(shù)據(jù)中心行業(yè)內(nèi)有了一定規(guī)模的應(yīng)用案例。

2  冷板式液冷系統(tǒng)的技術(shù)原理

整個冷板式液冷系統(tǒng)可分為一次側(cè)循環(huán)和二次側(cè)循環(huán)。液冷服務(wù)器通過管道與冷量分配單元CDU的二次側(cè)連接，用以轉(zhuǎn)移液冷服務(wù)器的熱量，此為二次側(cè)循環(huán)。冷量分配單元CDU的一次側(cè)通過管道與冷源連接，用以對外散熱，此為一次側(cè)循環(huán)，其具體原理如下圖：

圖2：冷板式液冷的技術(shù)原理圖

3  蘭洋科技對液冷技術(shù)的積極探索和實踐

作為數(shù)據(jù)中心基礎(chǔ)設(shè)施的頭部廠商，蘭洋科技一直在跟蹤整個行業(yè)液冷技術(shù)的發(fā)展及技術(shù)演變，并推出了自己的Vertiv? Liebert? VIC 浸沒式液冷解決方案。同時從2017年開始，我們和IT設(shè)備廠家聯(lián)想攜手合作，先后完成了北京大學(xué)、北京郵電大學(xué)、五邑大學(xué)及北京氣象局等幾個場地的冷板式液冷數(shù)據(jù)中心項目的集成交付工作，探索并積累了一定的項目經(jīng)驗?；诖?，下面我們以實際項目需求模型為例，對冷板式液冷數(shù)據(jù)中心各系統(tǒng)的設(shè)計選型要點及設(shè)計PUE和WUE進行了較為詳盡的介紹和分析，具體如下。

4  冷板式液冷解決方案各系統(tǒng)選型及PUE的計算

4.1冷板式液冷機房的具體需求及平面布局圖

冷板式液冷數(shù)據(jù)中心是離不開風(fēng)冷解決方案的，其一般采用溫水制冷技術(shù)，溫度范圍一般在35-55℃左右，可滿足高功耗IT 設(shè)備的散熱。通常采用板式液冷帶走高功耗元件熱量（包括CPU、GPU、VR、DIMM 等部件），此部分熱量可占整機散熱量的60-80%左右，其它部件仍然需要采用風(fēng)冷解決方案將熱量帶走。

如下表1所示，在本項目需求模型中此數(shù)據(jù)中心共計536.18KW的IT設(shè)備功率，其中液冷IT功耗為401.93，風(fēng)冷IT功耗為135.15，風(fēng)冷IT功耗占IT總功耗的25%。

表1：冷板式液冷機房基礎(chǔ)設(shè)施設(shè)計需求匯總表

根據(jù)如上項目需求模型，按照冷板式液冷解決方案規(guī)劃主機房的整體布局如下圖：

圖3：冷板式液冷機房平面布置圖

室內(nèi)水泵房需要30m2的空間布置水泵、水箱、定壓補水裝置等。室外需要110m2的空間布置閉式冷卻塔及風(fēng)冷列間空調(diào)的室外機。

4.2 一次側(cè)冷源的選擇

一次側(cè)冷源有多種組合方式，可根據(jù)項目條件、室外環(huán)境溫度、液冷服務(wù)器的進液溫度等確定。本項目需求模型中選擇閉式冷卻塔。由于要計算整個項目的設(shè)計PUE值，因此將每個設(shè)備的選型及功耗分別敘述如下：

4.2.1閉式冷卻塔

在本項目需求模型中，冷卻水系統(tǒng)制冷量需求為401.9KW，考慮10%的冗余安全系數(shù)，設(shè)計制冷量按照442KW計算，因此單臺閉式鋼制冷卻塔散熱量按照442KW選型，冷卻水供回水溫度按38/43℃，選型后冷卻塔功率為16.5kW。

4.2.2冷卻水循環(huán)泵

閉式鋼制冷卻塔散熱量為442KW，供回水溫差為5℃，則冷卻循環(huán)水總設(shè)計流量Q為：

Q=442÷1÷5=88.4m3/h，其中1為30%乙二醇的換算系數(shù)，單位為w·h/kg·℃。

冷卻水系統(tǒng)設(shè)置2臺冷卻水循環(huán)泵，單臺水泵流量選擇為88.4m3/h，揚程28m，功率：11kW， 1用1備，啟停與冷卻塔聯(lián)動控制。

4.2.3補水

閉式冷卻塔補水為塔體本身蒸發(fā)耗水、漂水和排污補水，一般按系統(tǒng)水流量的1%計算，在本項目需求模型中系統(tǒng)水流量88.4m3/h，則系統(tǒng)補水水量按0.88噸/小時，定壓補水裝置功耗1.5kW。

4.3CDU的選型

CDU冷卻水分配機組的額定冷卻功率是在某個特定水溫和流量工況下的計算值。當(dāng)實際使用的水溫和流量有變化時，需依據(jù)相關(guān)參數(shù)對實際冷卻功率、水溫和流量進行核算。

CDU冷卻水分配機組的額定冷卻功率計算公式如下：

為滿足核算的要求，需提供以上7個參數(shù)中的5個，其中關(guān)于初級冷水和二級冷卻水的參數(shù)至少有2個。

在本項目需求模型中，服務(wù)器水冷散熱量為401.9KW，考慮10%的冗余安全系數(shù)，CDU額定冷卻功率按照442KW計算，一次側(cè)出水溫度為43℃，一次側(cè)進水溫度為38℃，一次側(cè)循環(huán)水量88.4m3/h，二次側(cè)出水溫度50℃，二次側(cè)溫差取7℃，則：

二次側(cè)循環(huán)水量54m3/h，二次側(cè)進水溫度57℃。

選用2臺CDU，一用一備，單臺CDU功率4.3kW。

4.4冷卻水系統(tǒng)圖

根據(jù)液冷服務(wù)器的運行要求，配套冷卻水系統(tǒng)為換熱單元CDU提供冷卻水。按照以上各設(shè)備的選型，冷卻水系統(tǒng)一次側(cè)由2臺閉式鋼制冷卻塔（1用1備），2臺立式離心水泵（1用1備），一套定壓補水裝置及2臺換熱單元CDU組成（1用1備），冷卻水系統(tǒng)圖如下：

圖4：冷卻水系統(tǒng)圖

4.5 冷源自控系統(tǒng)的選型

4.5.1系統(tǒng)概述

冷板式液冷數(shù)據(jù)中心一般包含動環(huán)監(jiān)控系統(tǒng)和冷源自控系統(tǒng)。動環(huán)監(jiān)控系統(tǒng)主要監(jiān)控機房環(huán)境、配電、空調(diào)、消防等設(shè)備。冷源自控系統(tǒng)主要監(jiān)控一次側(cè)循環(huán)設(shè)備和CDU，具體架構(gòu)如下：

圖5：監(jiān)控系統(tǒng)圖

為了便于實現(xiàn)統(tǒng)一管理，可以把冷源自控系統(tǒng)的狀態(tài)及數(shù)據(jù)上傳到動環(huán)監(jiān)控系統(tǒng)主機上。用戶可以通過動環(huán)監(jiān)控系統(tǒng)統(tǒng)一瀏覽查看冷源自控系統(tǒng)的狀態(tài)。

4.5.2 冷源自控系統(tǒng)的組成及架構(gòu)

冷源自控系統(tǒng)主要負(fù)責(zé)一次側(cè)循環(huán)設(shè)備和CDU的監(jiān)控，由冷源自控控制器、水泵流量計、壓力傳感器、溫度傳感器、電動閥、冷卻塔傳感器、CDU監(jiān)控、其他傳感器及顯示屏組成，系統(tǒng)架構(gòu)如下：

圖6：冷源自控系統(tǒng)架構(gòu)圖

4.5.3 冷源控制器選型

冷源自控系統(tǒng)目前常用的有PLC或DDC兩種方案。PLC性能穩(wěn)定可靠，功能開發(fā)靈活（如熱備、定時輪循等）、選型種類較多、擴充方便，工業(yè)級可以適應(yīng)復(fù)雜環(huán)境。DDC更適合大樓暖通系統(tǒng)的控制，開發(fā)調(diào)試較為容易。

考慮北方冬季氣溫低，運行環(huán)境復(fù)雜的特點，在本項目需求模型中采用了PLC方案。

4.6冷板式液冷方案中風(fēng)冷列間空調(diào)的選型

目前IT設(shè)備風(fēng)冷負(fù)荷為135KW，機房面積為83m2，機房環(huán)境熱負(fù)荷為83m2*0.08KW/m2=6.64KW,總熱負(fù)荷為135+6.64=141.64KW,選擇8臺CR025系列風(fēng)冷列間空調(diào)(帶氟泵)，采用6用2備的運行方式，單臺CR025系列風(fēng)冷列間空調(diào)（回風(fēng)35℃）的制冷量為24.8KW，平均運行功率按照4.1KW進行計算。

4.7 UPS和變壓器的選型

在本項目需求模型中IT設(shè)備額定功率為536.18KW,選擇蘭洋科技EXL系列600KVA的UPS（輸出功率因數(shù)為1）組成雙母線系統(tǒng)為IT設(shè)備供電，單臺UPS的后備電池時間為15分鐘。

冷卻塔、水泵、CDU、風(fēng)冷列間空調(diào)等動力設(shè)備的總功耗為57.9KW，照明負(fù)荷為1.695KW，監(jiān)控負(fù)荷為0.84KW，加上IT設(shè)備的功耗，總負(fù)荷為596.62KW，考慮一定的發(fā)展裕量，因此選擇SCB10系列800KVA的變壓器。

4.8 額定負(fù)載下設(shè)計PUE的估算值

按照如上選型，各系統(tǒng)功耗匯總?cè)缦拢?/p>

(1）IT設(shè)備功耗

IT設(shè)備功耗為536.18KW。

(2) 水系統(tǒng)、CDU的能耗、列間空調(diào)部分的能耗

冷卻塔功率為16.5kW，冷卻水循環(huán)泵功率為11kW，定壓補水裝置功耗為1.5kW，單臺CDU功率為4.3KW。單臺CR025系列風(fēng)冷列間空調(diào)功率為4.1kW，6臺（8臺空調(diào)，6用2備）空調(diào)運行功耗為6*4.1=24.6KW。

制冷部分能耗為16.5+11+1.5+4.3+24.6=57.9KW

(3) 配電系統(tǒng)能耗

SCB10系列800KVA的變壓器單臺負(fù)載損耗為2.53KW，兩臺為5.06KW。600KVA的單臺UPS 在負(fù)載率50%左右時，效率按照97.5%計算（基于UPS的動態(tài)在線模式計算），則單臺UPS的損耗為(536/2)/0.975-(536/2)=6.87KW，2臺UPS的損耗為13.74KW。電池?fù)p耗、配電柜及線路損耗這三項按照經(jīng)驗估算為596.62*0.006=3.58KW。以上總計為5.06+13.74+3.58=22.38KW。

(4)弱電系統(tǒng)的能耗

自控、門禁、視頻等弱電系統(tǒng)的平均運行功率估算為0.84KW。

(5)照明的能耗

按照15W/m2來估算，機房照明負(fù)荷為0.015W/m2*（83+30）m2=1.695KW。

(6）100%負(fù)載工況PUE計算表

4.9 額定負(fù)載下設(shè)計WUE的估算值

在本項目需求模型中，閉式冷卻塔需要考慮塔體本身蒸發(fā)耗水、漂水和排污補水，系統(tǒng)補水水量為0.88噸/小時，即等于880L/小時（由于CDU的二次側(cè)去離子水的補水量非常少，因此予以忽略）。數(shù)據(jù)中心水資源使用效率如下：

WUE=Wtotal/Eit=(880*8760)/(536.18*8760)=1.64

全年消耗總用水量Wtotal為7708.8噸。

5  實施注意事項

冷板式液冷數(shù)據(jù)中心的建設(shè)需求與IT設(shè)備（尤其是與服務(wù)器設(shè)備）強相關(guān)，當(dāng)使用不同的IT廠家設(shè)備時，機柜尺寸、機柜布局、單機柜功耗、單機柜冷卻方式、機柜電源電壓等級、電源接口形式、單機柜流量、進出水溫度、機柜重量、綜合布線需求等都會有所不同。因此了解好以上IT機柜的具體需求是做好基礎(chǔ)設(shè)施配套系統(tǒng)最關(guān)鍵的因素。

特別值得一提的是關(guān)于機柜及CDU的尺寸問題，尤其是在圖3所示的微模塊形式的數(shù)據(jù)中心中。如果在具體項目中是由基礎(chǔ)設(shè)施的廠家來提供機柜和CDU，那么連同列間空調(diào)的尺寸會統(tǒng)一規(guī)劃考慮，一般不會有問題。但如果機柜是由IT設(shè)備廠家成套，要特別注意確認(rèn)好機柜的尺寸信息，否則尺寸不統(tǒng)一貨到現(xiàn)場后會很難處理。重新統(tǒng)一尺寸會面臨貨期及造價增加的問題，不統(tǒng)一尺寸實施后無法做到整齊美觀，非常影響參觀效果。

6  結(jié)語

任何事物都會有兩面性，冷板式液冷解決方案也不例外。從行業(yè)發(fā)展角度去看，存在的就是合理的，所有解決方案都是行業(yè)整體某個發(fā)展階段的必然產(chǎn)物，只是不同的用戶會選擇不同的解決方案來應(yīng)對自己的需求。無論各自占比多少，目前數(shù)據(jù)中心市場確實進入到了風(fēng)冷和液冷并存的時期。

由于冷板式液冷解決方案首先是基于服務(wù)器級別的解決方案，只有用戶在IT層面先選擇了液冷服務(wù)器，然后才會使用相關(guān)的液冷基礎(chǔ)設(shè)施的各種配套系統(tǒng)，因此液冷服務(wù)器的應(yīng)用與發(fā)展情況決定了基礎(chǔ)設(shè)施層面液冷解決方案的整體應(yīng)用與發(fā)展情況。

對大多數(shù)用戶而言，先在IT層面分清液冷服務(wù)器和風(fēng)冷服務(wù)器的使用場景非常重要。以數(shù)據(jù)中心基礎(chǔ)設(shè)施的視角去看，現(xiàn)階段在單機柜30KW以上甚至更高功率密度的高性能計算以及對PUE有極致要求的場景下，液冷會更適合。

本文標(biāo)題：數(shù)據(jù)中心冷板式液冷系統(tǒng)解決方案

本文鏈接：http://www.yangziriver.cn/faq3/938.html
[版權(quán)聲明]除非特別標(biāo)注，否則均為本站原創(chuàng)文章，轉(zhuǎn)載時請以鏈接形式注明文章出處。