隨著云計(jì)算和大數(shù)據(jù)技術(shù)的蓬勃發(fā)展IT設(shè)備性能逐步提高直接導(dǎo)致服務(wù)器功耗不斷增加，特別是作為服務(wù)器關(guān)鍵部件的CPU，隨著性能提升功耗增加非常顯著。常見(jiàn)的機(jī)房制冷主要依靠空氣冷卻來(lái)實(shí)現(xiàn)為服務(wù)器降溫的目的，已不能滿足高功率密度設(shè)備的要求。數(shù)據(jù)中心冷卻技術(shù)的解決方案逐漸向電子設(shè)備越來(lái)越靠近。從房間移到了機(jī)柜列，從機(jī)柜列到機(jī)架和柜門(mén)進(jìn)行熱交換，到如今在服務(wù)器內(nèi)部冷卻芯片等設(shè)備。貼近熱源，就近制冷成為技術(shù)發(fā)展趨勢(shì)，隨著芯片冷板及冷卻液強(qiáng)化換熱的技術(shù)發(fā)展完善，液冷成為業(yè)界新一輪的熱點(diǎn)。

一、液冷的原理和三種形式

根據(jù)目前技術(shù)進(jìn)程的研究，根據(jù)冷卻原理，將液冷技術(shù)主要分為冷板、浸沒(méi)和噴淋三種主要形式。

1、冷板式液冷

冷板式液冷技術(shù)研發(fā)初衷是為了避免冷卻液與服務(wù)器直接接觸，該種技術(shù)針對(duì)主要發(fā)熱源CPU和內(nèi)存等部件進(jìn)行精確制冷。液冷通道由水冷型熱管散熱器、液冷分配單元、液冷維護(hù)單元、液冷溫控單元、自然冷卻單元、一次/二次冷卻環(huán)路的管路等構(gòu)成。在冷板式液冷系統(tǒng)中，CPU等大功耗部件采用液冷冷板散熱，其他如硬盤(pán)、接口卡等少量發(fā)熱器件仍采用風(fēng)冷散熱系統(tǒng)。
冷板式液冷技術(shù)是在常規(guī)風(fēng)冷服務(wù)器基礎(chǔ)上，CPU和內(nèi)存?zhèn)染o貼一塊板式換熱器，芯片的熱量通過(guò)熱傳導(dǎo)至板內(nèi)流體，流體為絕緣介質(zhì)，可為去離子水、乙二醇溶液、氟化液等、或相變的熱管(熱管通過(guò)換熱器將熱傳導(dǎo)至機(jī)房外水系統(tǒng))。冷卻的板片與服務(wù)器的PU/GPU(高熱流密度元件)通過(guò)直接接觸將服務(wù)器的主要熱量帶走(冷板內(nèi)有熱管和液體散熱兩種形式)，其余部件(低熱流密度元件)熱量可通過(guò)較高溫的風(fēng)帶走，我們把這種由液冷和氣冷結(jié)合的散熱技術(shù)稱(chēng)為液/氣雙通道散熱技術(shù)，原理如圖1所示。圖2所示為冷板式服務(wù)器外形。

該技術(shù)相對(duì)于傳統(tǒng)的機(jī)架式風(fēng)冷服務(wù)器，資源利用率得到顯著提升，在減少總體擁有成本的同時(shí)，顯著增加了數(shù)據(jù)中心的能源利用效率。而且服務(wù)器安裝維護(hù)與常規(guī)風(fēng)冷服務(wù)器基本一致，故該種液冷技術(shù)的運(yùn)維難度基本和傳統(tǒng)行級(jí)空調(diào)一致。

2、浸沒(méi)式液冷

浸沒(méi)式液冷根據(jù)冷卻工質(zhì)換熱過(guò)程中是否相變，可分為相變浸沒(méi)式液冷和非相變浸沒(méi)式液冷技術(shù)。
非相變浸沒(méi)式液冷技術(shù)原理是將IT設(shè)備直接浸沒(méi)在絕緣冷卻液中，冷卻液吸收IT設(shè)備產(chǎn)生的熱量后，通過(guò)循環(huán)將熱量傳遞給熱交換器中的水，然后通過(guò)水循環(huán)將熱量傳遞到室外散熱裝置。該技術(shù)由于服務(wù)器無(wú)風(fēng)扇設(shè)計(jì)，噪音更低，噪音值可控制在45dB以下，同時(shí)省去了風(fēng)扇功耗，服務(wù)器整體耗電降低10%以上。如圖3所示為浸沒(méi)式液冷原理圖(非相變)。

相變浸沒(méi)式液冷技術(shù)原理是將IT設(shè)備浸沒(méi)在沸點(diǎn)低于IT設(shè)備工作溫度的冷卻工質(zhì)中，當(dāng)IT設(shè)備的運(yùn)行溫度達(dá)到冷卻工質(zhì)沸點(diǎn)時(shí)，會(huì)引起冷卻工質(zhì)的局部沸騰，冷卻工質(zhì)沸騰的過(guò)程中帶走IT設(shè)備運(yùn)行時(shí)產(chǎn)生的熱量。如圖4浸沒(méi)式液冷原理圖(相變)。

浸沒(méi)式液冷具有明顯的優(yōu)勢(shì)。首先，在浸沒(méi)式液冷中，冷卻液與發(fā)熱設(shè)備直接接觸，具有較低的對(duì)流熱阻，傳熱系數(shù)高；其次，冷卻液具有較高的熱導(dǎo)率和比熱容，運(yùn)行溫度變化率較小；再次，這種方式無(wú)需風(fēng)扇，降低了能耗和噪音，制冷效率高；最后，冷卻液絕緣性能優(yōu)良，閃點(diǎn)高不易燃，且無(wú)毒、無(wú)害、無(wú)腐蝕。所以該液冷技術(shù)適用于對(duì)熱流密度、綠色節(jié)能需求高的大型數(shù)據(jù)中心、超級(jí)計(jì)算、工業(yè)及其他計(jì)算領(lǐng)域和科研機(jī)構(gòu)，特別是對(duì)于地處嚴(yán)寒、高海拔地區(qū)，或者地勢(shì)較為特殊、空間有限的數(shù)據(jù)中心，以及對(duì)環(huán)境噪音要求較高，距離人群辦公、居住場(chǎng)所較近，需要靜音的數(shù)據(jù)中心具有明顯的優(yōu)勢(shì)。

3、噴淋式液冷

噴淋式液冷系統(tǒng)采用某種冷卻液并通過(guò)冷卻液直接或者間接吸熱帶走器件所釋放的廢熱至IDC外部環(huán)境進(jìn)行集中散熱的散熱形式。噴淋式液冷主要特征為絕緣非腐蝕特性的冷卻液直接噴淋到發(fā)熱器件表面或者是與發(fā)熱器件接觸的擴(kuò)展表面上吸熱后并排走，排走的熱流體通過(guò)直接與間接與外部環(huán)境大冷源進(jìn)行熱交換。
噴淋式液冷是指對(duì)IT設(shè)備進(jìn)行改造部署相應(yīng)的噴淋器件。在設(shè)備運(yùn)行時(shí)，有針對(duì)性地對(duì)發(fā)熱過(guò)高器件進(jìn)行冷卻的一種液冷實(shí)現(xiàn)方式。這種方式的特點(diǎn)是不需要對(duì)機(jī)房基礎(chǔ)設(shè)施做太大的改動(dòng)，只需要對(duì)服務(wù)器進(jìn)行少量的改造就能實(shí)現(xiàn)較好的冷卻性能。噴淋式液冷機(jī)柜系統(tǒng)包括噴淋式液冷機(jī)柜系統(tǒng)(含管路、布液系統(tǒng)、回液系統(tǒng)和PDU等部件)、液冷服務(wù)器、冷卻液3部分。噴淋式液冷機(jī)柜通過(guò)管路與室內(nèi)熱交換器相連接，即機(jī)柜內(nèi)芯片的廢熱被冷卻液吸收后傳遞到到室內(nèi)熱交換器并與室外熱交換器進(jìn)行換熱。如圖5為噴淋式液冷系統(tǒng)工藝流程原理圖。

噴淋液冷系統(tǒng)具有器件集成度高、散熱效率強(qiáng)、高效節(jié)能和靜音等特點(diǎn)，是解決大功耗機(jī)柜在IDC機(jī)房部署以及降低IT系統(tǒng)制冷費(fèi)用，提升能效，降低TCO的有效手段之一。

二、各種液冷形式的比較和分析

將幾種液冷形式進(jìn)行比較，如表1所示。目前，冷板式液冷和浸沒(méi)式液冷較為常用，噴淋水液冷應(yīng)用較少?，F(xiàn)將冷板式和浸沒(méi)式液冷的技術(shù)難點(diǎn)和風(fēng)險(xiǎn)進(jìn)行比較分析，如表2所示。

三、冷板式液冷系統(tǒng)的應(yīng)用

上述三種液冷形式，冷板式液冷的應(yīng)用最為廣泛。在設(shè)計(jì)時(shí)可以分為兩大類(lèi)，一種是在機(jī)柜外部部署冷卻液分配單元(CDU)，另一種是無(wú)冷卻液分配單元(CDU)的形式。

下面對(duì)這兩種不同的實(shí)現(xiàn)以及設(shè)計(jì)的一些注意事項(xiàng)進(jìn)行詳細(xì)描述。

1、含CDU的設(shè)計(jì)實(shí)施方式

數(shù)據(jù)中心內(nèi)最常見(jiàn)的液體冷卻實(shí)施形式是使用CDU將設(shè)施冷卻系統(tǒng)(機(jī)房外散熱側(cè))與機(jī)柜冷卻系統(tǒng)(機(jī)房?jī)?nèi)散熱側(cè))分開(kāi)。無(wú)需將敏感的IT冷卻組件暴露在設(shè)施冷卻系統(tǒng)中。CDU可以位于IT機(jī)架內(nèi)，以將液體分配到單個(gè)機(jī)架內(nèi)的設(shè)備，也可以安裝為將液體分配到多個(gè)機(jī)架的落地式外部單元。圖6顯示了一個(gè)基于CDU的液體冷卻裝置的示例。

CDU除了起到循環(huán)冷卻液的作用外，還將熱量從機(jī)柜冷卻系統(tǒng)傳遞到設(shè)施冷卻系統(tǒng)。通過(guò)將冷卻液調(diào)節(jié)至高于室溫露點(diǎn)來(lái)防止設(shè)備內(nèi)產(chǎn)生冷凝水。并且可以提供靈活多樣的冷卻液溫度滿足不同IT設(shè)備的要求。

2、含CDU的設(shè)計(jì)要點(diǎn)

在冷板式液冷系統(tǒng)中，CDU起著至關(guān)重要的作用。如果CDU出現(xiàn)故障，那么整個(gè)制冷系統(tǒng)都將面臨癱瘓，因此CDU的設(shè)置須考慮冗余或容錯(cuò)。CDU中的冷液泵最有可能發(fā)生故障，所以應(yīng)設(shè)置冗余泵。并配有切斷閥，保證可切斷不能正常工作的水泵，實(shí)現(xiàn)可在線維護(hù)。CDU的電源也需要用UPS電源，使其實(shí)現(xiàn)不間斷運(yùn)行。
調(diào)節(jié)溫度是CDU的主要功能之一，可通過(guò)使用旁路回路，比例控制閥、變速泵等來(lái)控制CDU提供的供水溫度，以響應(yīng)設(shè)備水溫和熱負(fù)荷的變化。供水溫度除了設(shè)定上限值(可以安全地向IT設(shè)備提供的最高供水溫度)外，也要設(shè)下限值(可以安全地向IT設(shè)備提供的最低供水溫度)，該極限本質(zhì)上可以是動(dòng)態(tài)的，并且取決于冷卻空間內(nèi)的露點(diǎn)。CDU負(fù)責(zé)監(jiān)視環(huán)境露點(diǎn)，并將輔助水回路的供應(yīng)溫度提高到比房間露點(diǎn)溫度高出至少2℃的水平，以防止冷凝現(xiàn)象發(fā)生。

3、無(wú)CDU的設(shè)計(jì)實(shí)施方式

如今，大多數(shù)數(shù)據(jù)中心的液冷設(shè)備都是通過(guò)CDU實(shí)現(xiàn)液體冷卻的。但無(wú)CDU的液冷形式在一些方面也具有一定優(yōu)勢(shì)。首先，減少了主機(jī)房?jī)?nèi)的空間占用面積；其次，無(wú)中間換熱環(huán)節(jié)以及減少了輸配系統(tǒng)的能耗，系統(tǒng)能效更高；最后實(shí)現(xiàn)了熱源與最終散熱介質(zhì)的緊密耦合，提高了冷卻液的溫度，同時(shí)降低了設(shè)備的工作壓力，也避免了冷凝現(xiàn)象。
圖7為無(wú)CDU的液冷系統(tǒng)示意圖，該系統(tǒng)將冷凍水直接輸送到IT設(shè)備內(nèi)。ITE表示信息技術(shù)設(shè)備(通常是服務(wù)器硬件)，RFU表示機(jī)架過(guò)濾單元，F(xiàn)FU表示設(shè)施過(guò)濾單元。

4、無(wú)CDU的設(shè)計(jì)要點(diǎn)

非CDU液冷服務(wù)器材料的腐蝕和結(jié)垢問(wèn)題可以通過(guò)使用與各種水性成分化學(xué)不相容的材料來(lái)解決。ASHRAE在《數(shù)據(jù)通信設(shè)備中心液體冷卻指南》第二版(ASHRAE2014)[4]的第5章中提供了關(guān)于使用的設(shè)備材料的最佳實(shí)踐和原理的論述。
在非CDU設(shè)計(jì)中，設(shè)施設(shè)計(jì)團(tuán)隊(duì)必須與IT設(shè)備制造商緊密合作，以確保為整個(gè)液冷系統(tǒng)選擇合適的材料。
非CDU冷卻系統(tǒng)同樣要求在供水上游側(cè)進(jìn)行過(guò)濾?？梢詾闄C(jī)架級(jí)過(guò)濾單元或設(shè)備級(jí)過(guò)濾單元，旨在為液冷系統(tǒng)的設(shè)備和管道提供終端過(guò)濾。如今，電子冷卻中最常用的液體傳熱設(shè)備是微通道冷卻板。這些設(shè)備使液體冷卻劑通過(guò)高效的通道來(lái)最大程度地利用液體冷卻劑的熱量密度(比熱)。這些液體散熱器上的典型散熱片間距通常不到十分之幾毫米，由于傳熱表面通常尺寸非常狹窄。在冷板設(shè)計(jì)中減小翅片間距的尺寸通常會(huì)導(dǎo)致優(yōu)異的傳熱性能，但是對(duì)于數(shù)據(jù)中心水系統(tǒng)的潔凈度來(lái)說(shuō)也是個(gè)挑戰(zhàn)。因此必須在數(shù)據(jù)中心運(yùn)營(yíng)商和液冷服務(wù)器廠商之間進(jìn)行充分溝通。
這些冷板和內(nèi)部管道結(jié)構(gòu)對(duì)水質(zhì)更敏感，例如可能會(huì)發(fā)生腐蝕，結(jié)垢和微生物。指南ASHRAE 2014第6章比第5章的要求更嚴(yán)格。表3所示為水質(zhì)要求的對(duì)比。對(duì)于非CDU的液冷系統(tǒng)設(shè)計(jì)時(shí)要參考第6章，而含CDU液冷系統(tǒng)設(shè)計(jì)時(shí)要參考第5章內(nèi)容。如果將機(jī)柜冷卻系統(tǒng)的水質(zhì)要求含CDU的液冷系統(tǒng)，會(huì)造成不必要的大量的成本提高。同樣，將設(shè)施水質(zhì)要求應(yīng)用于無(wú)CDU液冷系統(tǒng)時(shí)，由于水質(zhì)要求低得多，將會(huì)帶來(lái)巨大風(fēng)險(xiǎn)。在使用時(shí)，兩者經(jīng)常被誤用，設(shè)計(jì)時(shí)應(yīng)該著重區(qū)分開(kāi)。

四、總結(jié)

液冷相關(guān)技術(shù)的應(yīng)用將是未來(lái)數(shù)據(jù)中心能效提升的重要途徑，是數(shù)據(jù)中心重要的發(fā)展趨勢(shì)之一。目前，應(yīng)用最多的是冷板式液冷，雖然熱交換效率比風(fēng)冷式技術(shù)高，但是相比于接觸式液冷技術(shù)(如浸沒(méi)式液冷、噴淋式液冷)仍顯不足。而浸沒(méi)式液冷技術(shù)應(yīng)用中，液體冷卻劑是最為關(guān)鍵的因素之一。目前，國(guó)產(chǎn)氟化冷卻液已經(jīng)能夠?qū)崿F(xiàn)國(guó)產(chǎn)替代。通過(guò)對(duì)合適冷卻液及相關(guān)適配技術(shù)的開(kāi)發(fā)，解決高性能計(jì)算中心的發(fā)展瓶頸是目前數(shù)據(jù)中心研發(fā)的重要課題。

液冷數(shù)據(jù)中心冷卻液的較高溫度使得余熱的高效利用成為可能。傳統(tǒng)數(shù)據(jù)中心對(duì)于余熱的利用效率不高，液冷數(shù)據(jù)中心可以提供更高溫度的余熱，充分利用這些余熱實(shí)現(xiàn)供暖、提供生活熱水等，有效的減少了供熱設(shè)備的能耗，大大的降低了更多建筑或者整個(gè)園區(qū)的碳排放。相信在未來(lái)，液冷技術(shù)會(huì)和余熱利用充分耦合，實(shí)現(xiàn)更廣義的節(jié)能降碳。

本文標(biāo)題：淺談液冷技術(shù)在數(shù)據(jù)中心的應(yīng)用

本文鏈接：http://www.yangziriver.cn/faq3/449.html
[版權(quán)聲明]除非特別標(biāo)注，否則均為本站原創(chuàng)文章，轉(zhuǎn)載時(shí)請(qǐng)以鏈接形式注明文章出處。