目錄
氣候變化正給人類生產(chǎn)生活帶來日益嚴(yán)峻的挑戰(zhàn)。為在促進經(jīng)濟繁榮的同時保護地球,聯(lián)合國制定了 2030 可持續(xù)發(fā)展目標(biāo),將降低能源碳強度,采取緊急行動應(yīng)對氣候變化及其影響作為重要內(nèi)容,推動全球各國提供更多資源和更明智的解決方案。2021 年底發(fā)布的 《第五屆聯(lián)合國環(huán)境大會續(xù)會的部長級宣言草案》 再次強調(diào),推動綠色轉(zhuǎn)型,減少碳和非碳溫室氣體排放,實現(xiàn)可持續(xù)發(fā)展目標(biāo)。
中國高度重視落實聯(lián)合國 2030 年可持續(xù)發(fā)展議程,并基于推動實現(xiàn)可持續(xù)發(fā)展的內(nèi)在要求,將生態(tài)文明建設(shè)明確為國家戰(zhàn)略,宣布了 “碳達峰” 和 “碳中和” 目標(biāo),讓綠色低碳成為各行業(yè)轉(zhuǎn)型升級和實現(xiàn)高質(zhì)量發(fā)展的重要方向。
在全球落實可持續(xù)發(fā)展行動,中國積極推進生態(tài)文明建設(shè)的進程中,5G、人工智能、物聯(lián)網(wǎng)等新技術(shù)的快速普及應(yīng)用,在為各行各業(yè)高質(zhì)量發(fā)展提供前所未有新動能的同時,也讓作為新型基礎(chǔ)設(shè)施的數(shù)據(jù)中心規(guī)模不斷擴大,能耗持續(xù)高速增長。據(jù)相關(guān)估算,全國各類型數(shù)據(jù)中心用電量總和已約占全社會用電量的 1.5% - 2% 左右,且機柜規(guī)模仍保持高速增長態(tài)勢。參照美國勞倫斯伯克利實驗室對美國數(shù)據(jù)中心產(chǎn)業(yè)發(fā)展相關(guān)研究估算,在不采取相關(guān)措施的情況下,數(shù)據(jù)中心總用電量有可能翻倍甚至更高。
面對不斷增長的能源消耗與經(jīng)濟社會可持續(xù)發(fā)展的雙重壓力,加速數(shù)據(jù)中心運營模式的綠色轉(zhuǎn)型成為當(dāng)務(wù)之急。2021 年 5 月,國家發(fā)改委等四部委聯(lián)合發(fā)布 《全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實施方案》,將綠色低碳列為基本原則,強調(diào)通過創(chuàng)新技術(shù)全面提高其能源利用效率;同年 7 月,工信部印發(fā)《新型數(shù)據(jù)中心發(fā)展三年行動計劃 (2021 - 2023 年)》,明確提出新建大型及以上數(shù)據(jù)中心電能利用效率 (Power Usage Effectiveness,PUE) 降低到 1.3 以下。2022 年 1 月,國務(wù)院印發(fā) “十四五” 數(shù)字經(jīng)濟發(fā)展規(guī)劃,隨后國家發(fā)展改革委會同相關(guān)部門推進 “東數(shù)西算” 工程實施,強化數(shù)據(jù)中心綠色發(fā)展要求,強調(diào)大型、超大型數(shù)據(jù)中心 PUE 降到 1.3 以下,并在給多個算力網(wǎng)絡(luò)國家樞紐節(jié)點啟動的復(fù)函中,都將 PUE 指標(biāo)控制在 1.25 以內(nèi)。
在政策拉動以及數(shù)據(jù)中心降本增效等自身需求的驅(qū)動下,整個 ICT 產(chǎn)業(yè)積極采用創(chuàng)新技術(shù)和模式,圍繞降低 PUE 這一關(guān)鍵指標(biāo),通過推進基礎(chǔ)設(shè)施智能化、創(chuàng)新和采用制冷散熱技術(shù),以及提升能效與供電密度等系統(tǒng)化措施和多元化的技術(shù)與解決方案,綜合性地創(chuàng)新數(shù)據(jù)中心高效節(jié)能體系,推動數(shù)據(jù)中心全生命周期降耗增效。
眾冷板液冷生態(tài)伙伴以 “創(chuàng)造改變世界的技術(shù),改善地球上每個人的生活” 為宏旨,在不遺余力地通過將可持續(xù)納入產(chǎn)品設(shè)計、生產(chǎn)、使用全生命周期,系統(tǒng)化減少碳足跡的同時,聚力攜手更廣泛的產(chǎn)業(yè)伙伴開放創(chuàng)新,基于在數(shù)據(jù)中心可持續(xù)發(fā)展上構(gòu)建起的完備解決方案矩陣,重點聚焦的數(shù)據(jù)中心機架電源設(shè)計、先進冷卻技術(shù)和數(shù)據(jù)中心智能節(jié)能三個垂直領(lǐng)域,充分應(yīng)用芯片、服務(wù)器、機架、數(shù)據(jù)中心四個水平方向的技術(shù)方案和豐富案例,繼續(xù)深入實踐,全方位、立體化推動數(shù)據(jù)中心不斷實現(xiàn)能效優(yōu)化和低碳轉(zhuǎn)型。同時,還將繼續(xù)與各界伙伴協(xié)同推進數(shù)據(jù)中心功率密度演進、液冷技術(shù)應(yīng)用與設(shè)計等標(biāo)準(zhǔn)和規(guī)范建設(shè),助力構(gòu)建長效機制,引導(dǎo)數(shù)據(jù)中心加速邁向高效、清潔、集約、循環(huán)的綠色發(fā)展新紀(jì)元。
本 《綠色數(shù)據(jù)中心創(chuàng)新實踐 —— 冷板液冷系統(tǒng)設(shè)計參考》 是產(chǎn)業(yè)生態(tài)伙伴緊密合作、聯(lián)合創(chuàng)新的重要成果之一,內(nèi)容涵蓋液冷一次側(cè)及二次側(cè)整個鏈路的設(shè)計(見圖 1),旨在與冷板液冷生態(tài)伙伴及潛在使用者分享對于冷板液冷技術(shù)關(guān)鍵部件設(shè)計選型的考量,其付梓發(fā)布也是要通過面向更廣泛的產(chǎn)業(yè)伙伴展現(xiàn)冷板液冷技術(shù)關(guān)鍵部件的研究進展,來共同促其標(biāo)準(zhǔn)化,進而降低其設(shè)計與使用成本,推動建立并完善冷板液冷的生態(tài)系統(tǒng),為推進數(shù)據(jù)中心行業(yè)加速脫碳轉(zhuǎn)型,并以此支持各行各業(yè)實現(xiàn)低碳發(fā)展,共同為中國實現(xiàn)碳達峰、碳中和目標(biāo)而做出新的貢獻。
本文對參與冷板散熱系統(tǒng)設(shè)計、驗證、管路的連接組裝、系統(tǒng)的檢測及維護人員均具有參考意義。
圖 1 冷板式液冷整體鏈路圖
2.1 數(shù)據(jù)中心發(fā)展趨勢
隨著云計算、大數(shù)據(jù)、人工智能等新一代信息技術(shù)快速發(fā)展,數(shù)據(jù)呈現(xiàn)爆炸式增長。作為儲存和計算基礎(chǔ)設(shè)施的數(shù)據(jù)中心加速建設(shè)是大勢所趨。
2.1.1 數(shù)據(jù)中心總體能耗不斷抬升
隨著數(shù)字經(jīng)濟在人類活動中的占比逐漸增加,信息數(shù)據(jù)量激增,與之對應(yīng)的數(shù)據(jù)分析、處理能力不斷提升,使得服務(wù)器的密度越來越高,導(dǎo)致數(shù)據(jù)中心產(chǎn)生熱量日益增多。據(jù)行業(yè)數(shù)據(jù)報告顯示,預(yù)計未來 5 年,其仍將以 15% ~ 20% 的速率持續(xù)增長,也將使未來數(shù)據(jù)中心行業(yè)用電占社會總用電量的比率進一步提升。
作為 “新基建” 的引領(lǐng)行業(yè),數(shù)據(jù)中心是以技術(shù)創(chuàng)新為驅(qū)動和信息網(wǎng)絡(luò)為基礎(chǔ)的高質(zhì)量發(fā)展行業(yè),在為社會和工業(yè)的數(shù)字轉(zhuǎn)型、智能升級、融合創(chuàng)新等服務(wù)提供基礎(chǔ)設(shè)施體系的同時,快速增加的能源消耗也帶來熱點地區(qū)局部能源的稀缺和地域之間的不均衡。在北上廣這些核心地區(qū),很多潛在項目面臨有房無電的窘境。因此,作為單體能源消耗密度高的行業(yè),數(shù)據(jù)中心必須以綠色低碳、節(jié)能減排來應(yīng)對快速發(fā)展帶來的挑戰(zhàn),才能實現(xiàn)健康可持續(xù)發(fā)展。
根據(jù)相關(guān)國家政策要求,在未來布局的算力樞紐 8 大節(jié)點中,東部數(shù)據(jù)中心 PUE 需要降低到 1.25 以下 (包括華南地區(qū)),西部地區(qū)的數(shù)據(jù)中心 PUE 要求在 1.2 以下,且要求制冷系統(tǒng)采取新的解決方案。
2.1.2 功率密度隨需求不斷提高
近年來,數(shù)據(jù)中心單位空間產(chǎn)生熱量的瓦數(shù)正在不斷上升,同時功率密度也在增加,嚴(yán)重制約了傳統(tǒng)冷卻方法和技術(shù)的進一步應(yīng)用和推廣。因此,液冷作為數(shù)據(jù)中心新興的制冷技術(shù),逐漸被人們接納并應(yīng)用。
Uptime Institute 發(fā)布的 《2020 全球數(shù)據(jù)中心調(diào)查報告》 顯示,2020 年全球 71% 的數(shù)據(jù)中心平均功率密度低于 10kW / 機架,最常見是 5 ~ 9kW / 機架,平均單機架功率為 8.4kW / 機架,平均功率密度高于 20kW / 機架的數(shù)據(jù)中心約占 16%。雖然整體功率密度相較于高性能計算 (HPC) 等領(lǐng)域還不算高,但總體上升趨勢明顯,相比于 2017 年的 5.6kW / 機架、2011 年的 2.4 kW / 機架增長顯著。而且宏觀上看,數(shù)據(jù)中心未來的功率密度還將繼續(xù)上升。
造成這一趨勢的原因主要有兩個方面。一是從應(yīng)用層面來看,計算密集型應(yīng)用場景的激增,加上云業(yè)務(wù)廣為互聯(lián)網(wǎng)頭部企業(yè)采用,導(dǎo)致承載這些應(yīng)用負載的服務(wù)器設(shè)備功耗大幅增加,進而使得數(shù)據(jù)中心設(shè)計功率密度呈現(xiàn)逐年增大的趨勢。
另外一個原因來自 IT 硬件層面。為了滿足高算力負載需求,通過單機架疊加多核處理器提高計算密度,導(dǎo)致了 IT 硬件的處理器功耗顯著增加,也使得單機架功率密度越來越高。比如,從當(dāng)前占據(jù)全球服務(wù)器 CPU 主要市場的英特爾? 架構(gòu)處理器看,英特爾? 至強? 可擴展處理器 TDP (熱設(shè)計功耗) 從 2019 年的 205W 上升了到達現(xiàn)在的 270W,在 2023 年初將達到 350W,提升近一倍。而這在提供強大算力的同時無疑也帶來散熱困擾,而解決了散熱瓶頸就意味著實現(xiàn)算力提升。
2.2 數(shù)據(jù)中心液冷散熱方案
采用風(fēng)冷的數(shù)據(jù)中心通??梢越鉀Q 12kW 以內(nèi)的機柜制冷。隨著服務(wù)器單位功耗增大,原先尺寸的普通服務(wù)器機柜可容納的服務(wù)器功率往往超過 15kW,相對于現(xiàn)有的風(fēng)冷數(shù)據(jù)中心,這已經(jīng)到了空氣對流散熱能力的天花板。而液冷技術(shù)作為一種散熱能力更強的技術(shù),可以支持更高的功率密度。
2.2.1 液冷的優(yōu)勢
滿足高功率密度機柜的散熱需求。液冷的高效制冷效果有效提升了服務(wù)器的使用效率和穩(wěn)定性,同時可使數(shù)據(jù)中心在單位空間布置更多的服務(wù)器,提高數(shù)據(jù)中心使用效率;
循環(huán)系統(tǒng)耗能少,系統(tǒng)噪音小。使用高比熱的液體工質(zhì),冷卻工質(zhì)循環(huán)能耗少,且液冷簡化了換熱流程,也減小了風(fēng)冷末端在房間輸送冷風(fēng)過程中受湍流影響所致的部分能量衰減的問題;
占地小,易于選址。使用液冷系統(tǒng)的數(shù)據(jù)中心相對于傳統(tǒng)的風(fēng)冷數(shù)據(jù)中心更加簡單,去掉了龐大的末端空調(diào)系統(tǒng),提高了建筑利用率,在小空間里也能布置足夠規(guī)模的服務(wù)器,應(yīng)用場景更易布置,受地理位置影響較小,全國布局皆可實現(xiàn)低 PUE 運行;
降低 TCO,運營 PUE 較低,全年 PUE 可達到 1.2 以下。采用液冷散熱方案的數(shù)據(jù)中心 PUE 比采用風(fēng)冷的常規(guī)冷凍水系統(tǒng)降低 0.15 以上,可讓有限的能源更多分配給算力,從而降低運行成本,增加算力產(chǎn)出;
余熱回收易實現(xiàn)。相比傳統(tǒng)水溫,使用液冷方案的水溫更高,溫差大,熱源品味和余熱系統(tǒng)效率高;
適應(yīng)性強。冷板式液冷兼容性強,易配套開發(fā),不需改變原有形態(tài)和設(shè)備材料;空間利用率高,可維護性強,布置條件與普通機房相近,可直接與原制冷系統(tǒng) (常規(guī)冷凍水系統(tǒng))兼容適應(yīng)。
2.3 基于冷板液冷方案的一次側(cè)系統(tǒng)
對于液冷二次側(cè)末端不同的水溫需求,液冷一次側(cè)冷源可采用機械制冷系統(tǒng)和自然冷卻系統(tǒng)。機械制冷系統(tǒng)包括風(fēng)冷冷凍水系統(tǒng)和水冷冷凍水系統(tǒng),可提供 12℃ - 18℃ 的中溫冷凍水;自然冷卻是在室外氣象條件允許的情況下,利用室外空氣的冷量而不需機械制冷的冷卻過程,自然冷卻系統(tǒng)可采用開式冷卻塔、閉式冷卻塔和干冷器等設(shè)備實現(xiàn),可提供 30℃ 以上的冷卻水。液冷一次側(cè)冷源形式需結(jié)合二次側(cè)末端水溫需求和項目地室外環(huán)境情況確定。
2.3.1 機械制冷系統(tǒng)
風(fēng)冷冷凍水系統(tǒng)
風(fēng)冷冷凍水系統(tǒng)是冷凍水制備的一種方式,主要由風(fēng)冷冷水機組、冷凍水泵及配套設(shè)施組成,其液態(tài)制冷劑在其蒸發(fā)器盤管內(nèi)直接蒸發(fā),實現(xiàn)對盤管外的冷凍水吸熱而制冷,并通過風(fēng)冷的方式冷卻為液態(tài)。
風(fēng)冷冷凍水系統(tǒng)不需要占用專門的機房且無需安裝冷卻塔及泵房,初期成本投入較低、運行方便,不需要專業(yè)人員維護,無冷卻水系統(tǒng),具備節(jié)水和降低維護費用等優(yōu)點。但風(fēng)冷冷水機組一般裝在室外,運維環(huán)境相對較為惡劣,維護性及可靠性均不如水冷冷水機組,并且風(fēng)冷機組在夏季高溫制冷效果較差,運行效率較低。
水冷冷凍水系統(tǒng)
水冷冷凍水系統(tǒng)是冷凍水制備的一種方式,主要由水冷冷水機組、冷凍水泵、冷卻水泵、冷卻塔及配套設(shè)施組成,其液態(tài)制冷劑在蒸發(fā)器盤管內(nèi)直接蒸發(fā),實現(xiàn)對盤管外的冷凍水吸熱而制冷,并通過水冷的方式冷卻為液態(tài)。
水冷冷凍水系統(tǒng)具有耗電量較低、全年制冷效果好、可靠性高和使用壽命長的優(yōu)點。但其需要專用機房、冷卻塔、冷卻水泵、冷凍水泵等設(shè)備,初投資較大,并且需要循環(huán)水,水資源消耗大,且機組本體和冷卻設(shè)施需要維護,相較于風(fēng)冷機組,其維護費用比較高。
2.3.2 自然冷卻系統(tǒng)
開式冷卻塔
開式冷卻塔經(jīng)過將循環(huán)冷卻水直接噴淋到冷卻塔填料上,同時由風(fēng)機帶動冷卻塔內(nèi)氣流流動,通過室外空氣與冷卻水之間的熱質(zhì)交換蒸發(fā)冷卻循環(huán)水,冷卻后的循環(huán)水在冷卻塔底部出水 (見圖 2)。開式冷卻塔中循環(huán)冷卻水與室外空氣存在熱質(zhì)交換。
圖 2 開式冷卻塔示意圖
開式冷卻塔初投資和運行成本均較低,占地面積較小,重量較輕,但其運行水質(zhì)較差,易引起被冷卻換熱器結(jié)垢,適用于室外空氣品質(zhì)較好的區(qū)域。另外,雖然可增設(shè)一級板式換熱器和冷卻水泵來避免核心換熱器結(jié)垢,但對應(yīng)系統(tǒng)較為復(fù)雜,初投資提升。
閉式冷卻塔
閉式冷卻塔是將管式換熱器置于塔內(nèi),通過室外流通的空氣、噴淋水與管內(nèi)的循環(huán)冷卻水進行熱交換而實現(xiàn)向大氣散熱的設(shè)備(見圖3)。閉式冷卻塔有內(nèi)循環(huán)和外循環(huán)兩個系統(tǒng),其內(nèi)循環(huán)通過與被冷卻設(shè)備對接,構(gòu)成一個封閉式系統(tǒng),將系統(tǒng)熱量帶到冷卻塔,也即內(nèi)循環(huán)水通過換熱盤管將熱量傳遞到大氣中;外循環(huán)由循環(huán)噴淋泵,布水系統(tǒng)、集水盤及管路組成,外循環(huán)水不與內(nèi)循環(huán)水相接觸,只是通過冷卻塔內(nèi)的換熱器吸收內(nèi)循環(huán)水的熱量,然后通過和空氣直接接觸來散熱。
圖 3 閉式冷卻塔示意圖
閉式冷卻塔的水質(zhì)較好,被冷卻換熱器不易結(jié)垢,壽命長,應(yīng)用在室外環(huán)境質(zhì)量差且對循環(huán)水質(zhì)要求高的場合優(yōu)勢明顯;但閉式冷卻塔初投資和運行成本均較高,占地面積大,重量較重。
干冷器
干冷器即干式冷卻器,其工作過程沒有水的消耗,是通過管內(nèi)走液體與管外走自然風(fēng)來冷卻管內(nèi)液體,降低管內(nèi)液體溫度,達到冷卻的目的 (見圖 4)。干冷器中的載冷劑通常使用乙二醇溶液,需要根據(jù)項目地冬季極端溫度選取溶液濃度。
圖 4 干冷器示意圖
干冷器沒有壓縮機,總體耗電量低,機組使用壽命長,初投資比風(fēng)冷冷水系統(tǒng)和水冷冷水系統(tǒng)低,但其一般安裝在室外,運行環(huán)境相對惡劣,且在夏季炎熱散熱較差的區(qū)域,需配置水噴淋冷卻系統(tǒng)或濕簾系統(tǒng)增強換熱,導(dǎo)致占地面積增大。
2.3.3 一次側(cè)系統(tǒng)應(yīng)用場景
在冷板式液冷系統(tǒng)中,發(fā)熱器件不直接接觸液體,而是通過與裝有液體的冷板直接接觸來散熱,或者由導(dǎo)熱部件將熱量傳導(dǎo)到冷板上,然后通過冷板內(nèi)部液體循環(huán)帶走熱量。由于服務(wù)器芯片等發(fā)熱器件不用直接接觸液體,所以該方式對現(xiàn)有服務(wù)器芯片組件及附屬部件改動量較小,可操作性更強,成為目前成熟度高、應(yīng)用廣泛的液冷散熱方案。
二次側(cè)相對穩(wěn)定,通過冷卻液分配單元 (CDU) 及后面的系統(tǒng)架構(gòu)進行配置。一次側(cè)可以考慮多種的使用條件和場景進行組合。按照制冷的方式,主要分成機械制冷和自然冷卻制冷,同時結(jié)合國內(nèi)情況,進行劃分如下:
表 1 一次側(cè)和二次側(cè)供液溫度的參考值
在高熱高濕地區(qū),機房環(huán)境溫度要求高,直接采用閉式冷塔 / 干冷器無法直接滿足供冷要求,需要輔助機械制冷裝置;冷源通常采用冷水機組 + 冷卻塔的聯(lián)合供冷的方式 (見圖 5),此結(jié)構(gòu)適應(yīng)性強,效率高,但耗水量較大,不適合缺水的地區(qū)。
方案一:冷水機組 + 冷卻塔 (開式)+ 板換
一次側(cè)冷源有多種組成形式,需根據(jù)當(dāng)?shù)厥彝猸h(huán)境溫度 (包括干球 / 濕球溫度) 及液冷服務(wù)器的進液溫度,確定是否需要下調(diào)水溫;另外供水溫度應(yīng)比室內(nèi)露點溫度高出 2℃ ~ 3℃ 左右,以防結(jié)露 (見表 1)。
圖 5 冷塔 + 水冷冷機 + 板換系統(tǒng)示意圖
系統(tǒng)根據(jù)室外溫度變化分成兩種模式:
模式一:室外溫度較低,無需冷機開啟,僅憑冷塔 + 板換即可滿足制冷要求。
模式二:冷塔出水水溫高于 CDU 需求,需要機械降溫補冷,形成冷塔 + 冷機的組合形式。
方案二:風(fēng)冷冷水機組
風(fēng)冷冷水機組將冷凝器、水泵、壓縮機等部件合成整體,且通常配置干冷器 (免費冷源模塊),集成度高 (見圖 6);但是無法利用水的蒸發(fā)潛熱,系統(tǒng)能效低,適合系統(tǒng)偏小環(huán)境以及缺水地區(qū)。
圖 6 風(fēng)冷冷水機組示意圖
使用模式與場景 1 相近,也具備兩種模式:
模式一:室外溫度較低,無需冷機開啟,僅憑免費冷源模塊即可滿足制冷要求。
模式二:免費冷源模塊無法滿足 CDU 的溫度要求,需要機械降溫補冷,則直接使用風(fēng)冷冷機形式。
方案三:閉式冷卻塔 / 干冷器
對于當(dāng)?shù)貧鉁厝贻^低,可采用閉式冷塔/干冷器直接供冷 (見圖 7),全年無需機械制冷。
圖 7 閉式冷卻塔/干冷器 液冷系統(tǒng)示意圖
閉式冷塔和干冷器使用模式基本相同,閉式冷卻塔系統(tǒng)仍以蒸發(fā)散熱為主,可以輸出更低的溫度,循環(huán)系統(tǒng)水質(zhì)較好,對于 CDU 或者其它換熱設(shè)備友好,只是耗水量大。干冷器體積較大,單機制冷量偏小,但容易布置,配置上濕膜,還可以部分使用蒸發(fā)冷卻。
該系統(tǒng)也分成兩種模式:
模式 1:干模式,無需通過水蒸發(fā)散熱。
模式 2:濕模式,系統(tǒng)需要通過噴水蒸發(fā)的潛熱帶走熱量,閉式冷卻塔此時和開式冷卻塔相同。干冷器通過進風(fēng)口的濕膜初步降溫,再進行二次降溫。
方案四:開式冷卻塔
開式冷卻塔制冷模式與閉式冷卻塔完全相同(見圖 8),只是開式冷卻塔水路與大氣相通,水質(zhì)較差。
圖 8 開式冷卻塔冷卻示意圖
上述方案以液冷側(cè)需求為主要考量因素 (見表 2)。冷板液冷機房在實際運轉(zhuǎn)過程中,液冷系統(tǒng)往往仍然需要配備少量空調(diào)使用,以滿足服務(wù)器中非液冷部件的散熱需求。
表 2 一次側(cè)冷源建議方案
二次側(cè)液體回路是指從冷量分配單元到機架,通過供回冷卻工質(zhì)歧管和 IT 設(shè)備連接,然后再通過歧管返回冷量分配單元的設(shè)計。來自二次側(cè)冷卻回路的熱量通過冷量分配單元的板式熱交換器傳遞到一次側(cè)冷卻回路, 最終排放到大氣中或被熱回收再利用。3. 二次側(cè)冷板液冷概述
隨著 IT 設(shè)備功率密度的增加,需要更高效的冷卻技術(shù)來滿足日益增長的算力需求。與傳統(tǒng)的風(fēng)冷相比,液冷方案提供了更加高效的冷卻效率。而何時轉(zhuǎn)換到液冷取決于許多不同的因素,例如包括散熱性能需求、電力配備、PUE 要求、IT 設(shè)備密度、冷卻成本,以及將來的 IT 設(shè)備的性能需求和部署策略等等。另外,是改造現(xiàn)有設(shè)施還是重新建造新的數(shù)據(jù)中心機房, 也需納入 TCO 的考量范圍。
采用液體冷卻的一個直接原因是,傳統(tǒng)的風(fēng)冷方案已經(jīng)無法滿足 IT 設(shè)備的散熱需求,故而需要新的方案提升冷卻能力。對于 CPU 和 GPU 等高功耗元器件,究竟何時或在何種功率水平下需要液體冷卻,目前尚無通用指南,不能一概而論。但應(yīng)注意的是,除了成本分析外,還需要了解液冷方案的一些設(shè)計考量,比如冷卻回路中的所有浸潤材料與所使用的冷卻工質(zhì)相容并保持長期可靠性,使用的冷卻工質(zhì)不能與任何其他冷卻工質(zhì)混合使用等等。
4.1 冷板式液冷
冷板式液冷是指采用液體作為傳熱工質(zhì)在冷板內(nèi)部流道流動,通過熱傳遞對熱源實現(xiàn)冷卻的非接觸液體冷卻技術(shù)。其中,熱量通過裝配在需要冷卻的電子元器件上的冷板,再通過冷板與液體工質(zhì)的熱交換實現(xiàn)的方式,稱為間接式液冷。其與浸沒或噴淋式液冷技術(shù)不同,后者主要是指電子元器件 (通常在熱源表面也需要安裝散熱翅片,以增加熱交換面積) 與冷卻工質(zhì)直接接觸的冷卻方式。
4.2 液冷板
液冷板是帶有內(nèi)部流體通道并允許冷卻工質(zhì)流過的熱交換器或散熱器。冷板安裝在需要冷卻的電子元器件熱表面上,將元器件產(chǎn)生的熱量通過液體冷卻工質(zhì)傳遞到冷量分配單元的板式熱交換器。冷板的設(shè)計多種多樣,可以根據(jù)不同的需求對其進行結(jié)構(gòu)設(shè)計優(yōu)化,其內(nèi)部流道可以是溝槽、扣合翅片、鏟齒、折疊翅片等構(gòu)造。對于一些高功耗或高熱密度元器件的散熱設(shè)計,流道通常還會設(shè)計成更復(fù)雜的微通道結(jié)構(gòu),以增加接觸面積,提高其散熱性能。
冷板基本結(jié)構(gòu)形態(tài)包括散熱模塊和固定模塊,固定模塊設(shè)計應(yīng)最大限度滿足扣合力正壓冷板。根據(jù)散熱模塊和固定模塊之間的連接方式可分為分體式液冷冷板 (冷板散熱模塊與固定模塊由螺釘或其他方式連接,可根據(jù)需求進行拆卸與組裝),以及一體式液冷冷板 (冷板散熱模塊與固定模塊不可拆卸與組裝)。根據(jù)密封形式則可分為密封圈組裝式或焊接密封等。
4.3 混合冷卻
本文件中提到的混合冷卻解決方案是指同時使用風(fēng)冷和冷板液冷的方式。常見的混合冷卻是對高功率和高熱密度元器件使用液冷冷卻,而對于低功率元件的冷卻則使用風(fēng)冷的方式。以 IT 設(shè)備的冷卻為例,對于 CPU / GPU 或內(nèi)存模塊上會安裝液冷冷板,而風(fēng)扇則用于形成強迫風(fēng)冷對其他元器件進行冷卻。
此外,還有一種將冷板、泵及換熱器集成在計算系統(tǒng)里面的設(shè)計應(yīng)用。所以采用混合冷卻方式的設(shè)計仍然需要空調(diào),來滿足非液冷元器件的散熱需求。為進一步降低機房空調(diào)的功耗,可以在機柜門安裝液冷背板門對熱空氣進行初步冷卻,這種方式可以用于高溫機房的設(shè)計,甚至可以取消機房空調(diào),構(gòu)成全液冷冷卻設(shè)計。
4.4 全液冷卻
全液冷卻指的是將所有元器件產(chǎn)生的熱量全部通過液體冷卻工質(zhì)傳遞至外部環(huán)境的冷卻方式。對于 IT 設(shè)備,采用全液體冷卻大致有兩種方式,一種是通過冷板設(shè)計實現(xiàn)服務(wù)器熱量完全導(dǎo)入冷卻工質(zhì),一種是通過冷板和液冷背板門組合的方式將服務(wù)器的熱量全部導(dǎo)入冷卻工質(zhì)。前者需要通過設(shè)計一個與服務(wù)器設(shè)計相匹配的復(fù)合冷板組件為所有元器件提供冷卻工質(zhì)的熱傳遞路徑。
對于全液冷機架的設(shè)計,機架通常會有一個冷板背板門安裝在熱空氣出口,將服務(wù)器中的熱量傳遞到液冷工質(zhì)中。全液體冷卻方式只需要最低能耗限度的室內(nèi)空調(diào),來消除殘余在空氣中的熱量。在可接受高溫機房的設(shè)計中,室內(nèi)空調(diào)甚至可以取消,以進一步降低數(shù)據(jù)中心 PUE。
4.5 單相和兩相冷卻工質(zhì) (冷卻工質(zhì) / 冷媒)
依據(jù)冷卻工質(zhì)在吸收或釋放熱量過程中可能保持液相或產(chǎn)生氣液相轉(zhuǎn)化的特性,可將冷卻工質(zhì)區(qū)分為單相冷卻工質(zhì)和兩相冷卻工質(zhì)。
對于在整個運行過程中保持單一液態(tài)的冷卻工質(zhì)稱之為單相冷卻工質(zhì),通常包含水基冷卻工質(zhì)和非水基冷卻工質(zhì)兩類。
水基冷卻工質(zhì)中,以純水為溶劑,不添加任何其他材料或只依據(jù)耐零下溫度需求添加一定比例 (0% ~ 60%) 防凍劑構(gòu)成的,為純水液,需要配合工質(zhì)純化模塊使用;以純水為溶劑,添加緩蝕劑、殺生劑等,并依據(jù)耐零下溫度需求添加一定比例 (0% ~ 60%) 防凍劑構(gòu)成的,為配方液,使用時需要定期取樣檢測添加劑狀況。非水基冷卻工質(zhì),一般為沸點不低于水的氫氟醚、全氟碳等介電液體或礦物油,使用時需在浸潤材料兼容性上應(yīng)進行嚴(yán)格審查和測試。
對于在吸熱和放熱過程中會發(fā)生氣液兩相轉(zhuǎn)換的液體,稱之為兩相冷卻工質(zhì)。兩相冷卻工質(zhì)的沸點通常較低,主要通過液體的氣化潛熱吸收熱量,在循環(huán)中形成攜帶熱量的兩相流。兩相冷卻工質(zhì)通常是介電液體或冷媒。不同兩相冷卻工質(zhì)的沸點通常不同。
冷板式相變液冷技術(shù)的冷板有時也被稱為蒸發(fā)器。在本文中,冷板指用于單相冷卻工質(zhì)或兩相冷卻工質(zhì)的冷板,冷卻工質(zhì)指單相或兩相冷卻工質(zhì)。冷卻工質(zhì)和所有暴露在冷卻工質(zhì)中的材料 (稱為浸潤材料) 之間必須具有相容性,以降低在長期工作環(huán)境下腐蝕、加速老化、滲透等風(fēng)險。且即使在確保冷卻工質(zhì)和所有浸潤材料相容,在實際操作中仍然需要定期檢查冷卻工質(zhì),以確保冷卻工質(zhì)的品質(zhì)穩(wěn)定可靠。
4.6 冷量分配單元
冷量分配單元的主要作用是隔離一次側(cè)與二次側(cè)回路,并在其內(nèi)部提供一次側(cè)與二次側(cè)的熱交換能力。冷量分配單元主要分為機架式 (嵌柜式)、機柜式和平臺式等。機柜式 CDU 通常為一個或多個 IT設(shè)備的機架甚至整個機房提供冷卻,具備比機架式 CDU 所需更大的冷卻能力和供液能力。平臺式 CDU 通常是一種帶有更大冷卻能力和供液能力的 CDU 類型,最大冷卻能力可達到 10MW 以上,可以為整個數(shù)據(jù)中心提供冷卻。為避免 CDU 故障造成冷量不足,需要結(jié)合實際情況充分考慮 CDU 的 N + 1、N + 2 冗余備份,或?qū)?CDU 內(nèi)部的泵驅(qū)模塊進行 N + 1 冗余設(shè)計,以確保足夠的冷量用于冷卻 IT 設(shè)備,或構(gòu)成冗余設(shè)計實現(xiàn) CDU 的可在線維護。
CDU 中通常包含熱交換模塊、一二次側(cè)過濾組件、二次側(cè)泵驅(qū)模塊、定壓脫氣模塊、定壓補液模塊、恒溫恒壓監(jiān)控模塊、漏液檢測模塊、冷卻工質(zhì)品質(zhì)參數(shù) (電導(dǎo)率、pH) 檢測模塊、控制系統(tǒng)、防凝露及去離子裝置等。其中,二次側(cè)過濾組件的過濾能力須匹配冷卻回路中對顆粒最敏感的部件,如自封式快換接頭和微通道冷板的需求,以確保冷卻工質(zhì)中潛在的顆粒不會在流體回路中造成堵塞,并阻止冷卻工質(zhì)的流動,或插拔時部件失去自封能力。建議過濾精度為 50 微米。
4.7 機架式冷卻工質(zhì)供回液歧管
冷卻工質(zhì)供回液歧管主要功能是將從 CDU 分配進入各機架內(nèi)的冷卻工質(zhì)再次均勻分流到各 IT 設(shè)備,并從冷板出液端收集回流液體。歧管必須能夠提供符合 IT 設(shè)備需求的冷卻流量,確保機架內(nèi)冷卻工質(zhì)流量分布均勻,保障 IT 設(shè)備可在線移出或接入液冷系統(tǒng)。這些因素在設(shè)計中必須仔細考量。
4.8 自封式快換接頭
自封式快換接頭 (QD) 用于幫助維護人員檢修而提供快速連接,或斷開 IT 設(shè)備或其組件與液冷系統(tǒng)的連接并確保具備自封功能,進而確保冷卻工質(zhì)不會泄漏,液冷系統(tǒng)運行不受影響,IT 設(shè)備可持續(xù)安全運行。
自封式快換接頭一般有兩種設(shè)計,即手動插拔式和盲插式。手動插拔式是需要人為手動握住快換接頭,進行插拔連接操作的接頭設(shè)計,可分為單手插拔和雙手插拔式,因為涉及手動插拔動作,需要保證足夠插拔操作空間。而盲插接頭是一種通過壓力將公母頭插入導(dǎo)通或拔開斷開,無需手動操作的接頭設(shè)計,需要通過精確的滑軌設(shè)計或定位銷來輔助定位連接,并要保持導(dǎo)通所需的壓力,以避免公母頭滑移導(dǎo)致接頭液路斷開。
5.1 冷卻工質(zhì)
二次側(cè)冷卻回路中常用的冷卻工質(zhì)包括水基冷卻工質(zhì)和非水基冷卻工質(zhì)。其選擇需要在滿足冷卻性能需求的同時,還應(yīng)滿足二次側(cè)冷卻回路中所有浸潤材料的相容性和長期可靠性,并同時考慮 IT 設(shè)備及冷卻工質(zhì)本身維護的便利性、使用預(yù)期壽命及液體的成本等綜合因素。
每種液冷冷卻工質(zhì)都有不同的優(yōu)點和缺點,表 3、4、5 和 6 中有詳細介紹。水基冷卻工質(zhì)具有良好的傳熱性能,其中的純水液通過維持超低電導(dǎo)率環(huán)境抑制浸潤材料的腐蝕和微生物的滋生;配方液通過緩蝕劑和殺生劑的添加劑降低浸潤材料的腐蝕風(fēng)險和抑制細菌生長。但這些添加劑會降低水的熱傳導(dǎo)性能,也存在因消耗而失去作用的問題,所以需要研究對整體性能的潛在影響和品質(zhì)監(jiān)測方法。
水的另一個特性是常溫常壓下其冰點是 0°C。因此,需要考慮其工作環(huán)境溫度范圍以及是否滿足操作、運輸和儲存期間的要求,通常使用的防凍劑包括丙二醇和乙二醇。但隨著冷卻工質(zhì)中丙二醇或乙二醇含量的增加,會造成冷卻工質(zhì)粘滯系數(shù)過高,對熱性能造成部分衰減,同時水泵的揚程需要提高,導(dǎo)致水泵功耗提升。因此,了解操作溫度及儲存和運輸過程的溫度要求非常重要,不要添加太高比例的丙二醇或乙二醇,25% 及以上的丙二醇或乙二醇溶液,即具有一定的抑制液體中細菌生長的功能。另外,通常冷卻工質(zhì)使用防凍劑首選丙二醇。丙二醇比乙二醇毒性小,在自然環(huán)境中分解速率也更快。少量的丙二醇甚至被用作食品工業(yè)的添加劑,具體優(yōu)缺點見表 4。
為了減低液冷系統(tǒng)在運輸過程中的腐蝕和污染的風(fēng)險,IT 設(shè)備和 /或機架可以預(yù)先充入合適的冷卻工質(zhì)或惰性氣體加以保護。在系統(tǒng)現(xiàn)場裝配時,除了按照制造商提供的裝配操作流程,還應(yīng)考慮在系統(tǒng)運行之前沖洗預(yù)充的液體及充分排除系統(tǒng)內(nèi)部的氣體。此外,必須定期檢測液冷冷卻工質(zhì),尤其是配方液的品質(zhì)以了解其成分變化。
非水冷卻工質(zhì)主要是礦物油或合成油、介電液體和冷媒。礦物油或合成油類工質(zhì)因其粘度、粘性和易吸濕水解等問題不作推薦;介電液體有單相和兩相兩類,沸點較高的液體通常用于單相冷卻,沸點較低的液體通常用于相變冷卻。介電液體的一個優(yōu)點是,在發(fā)生潛在泄漏時,液體本身是電絕緣體 (低導(dǎo)電率),一般不會造成 IT 設(shè)備的電子電路短路。介電液體通常密度更高,成本也比較貴,同時針對某些介電液體需要考慮全球變暖潛能值 (GWP) 的影響,這些因素必須在選擇冷卻工質(zhì)時予以充分考慮 (見表 5)。除介電液體外,冷媒也可用于兩相冷卻。冷媒具有相對較低的沸騰溫度,允許液體相變并蒸發(fā),可以通過改變工作壓力來改變飽和溫度。
表 3 水基冷卻工質(zhì)優(yōu)缺點
表 4 防凍液優(yōu)缺點
表 5 介電液體優(yōu)缺點
表 6 冷媒優(yōu)缺點
浸潤材料是指其表面與冷卻工質(zhì)直接接觸的材料,必須和冷卻工質(zhì)之間具備相容性,以將冷卻回路中潛在的腐蝕風(fēng)險和泄漏風(fēng)險降至最低。因此,詳細了解所有冷卻部件和所使用的材料至關(guān)重要,需要和所有浸潤材料部件及液體供應(yīng)商建立密切合作,確保材料的相容性。有關(guān)常見浸潤材料的描述,請參考文獻 [7]。ASHRAE 提供的列表只是一個初步的建議,隨著新設(shè)計及新材料成分引入,它將繼續(xù)完善和更新。需要注意的是,該列表并不是對所述材料相容性的承諾,具體材料的選擇,仍然需要通過測試來確定。
5.1.1 浸潤材料
浸潤材料是指其表面與冷卻工質(zhì)直接接觸的材料,必須和冷卻工質(zhì)之間具備相容性,以將冷卻回路中潛在的腐蝕風(fēng)險和泄漏風(fēng)險降至最低。因此,詳細了解所有冷卻部件和所使用的材料至關(guān)重要,需要和所有浸潤材料部件及液體供應(yīng)商建立密切合作,確保材料的相容性。有關(guān)常見浸潤材料的描述,請參考文獻 [7]。ASHRAE 提供的列表只是一個初步的建議,隨著新設(shè)計及新材料成分引入,它將繼續(xù)完善和更新。需要注意的是,該列表并不是對所述材料相容性的承諾,具體材料的選擇,仍然需要通過測試來確定。
5.1.2 過濾裝置
過濾裝置就是用于彌補冷卻工質(zhì)品質(zhì)和系統(tǒng)腐蝕可能帶來的風(fēng)險的專門功能組件,用于防止因顆粒物、碎屑和細菌污染而引起的操作可靠性問題。顆粒物是微觀的,通常以微米為單位進行測量。
過濾裝置的主要作用是為了防止顆粒物積聚污染系統(tǒng)部件,尤其是在冷板液冷中,還與微通道冷板內(nèi)的翅片陣列寬度、熱交換器板間隙寬度及快換接頭結(jié)構(gòu)都有關(guān)。在這些地方,顆粒物污染可能導(dǎo)致堵、性能降低、泄漏或系統(tǒng)故障。過濾裝置的位置是系統(tǒng)設(shè)計者需要考慮的一個問題,過濾裝置工作會影響系統(tǒng)壓降,而良好的設(shè)計旨在盡可能地減少過濾器的壓降從而提高系統(tǒng)冷卻效率??筛鶕?jù)開式系統(tǒng)或密閉式系統(tǒng)選擇過濾裝置的精度。設(shè)計者應(yīng)考慮維護的便利性,這包含計劃周期性的維護和計劃外的突發(fā)維護干預(yù),使用冗余設(shè)計來保障液冷系統(tǒng)實現(xiàn)在線維護。
5.13 冷卻工質(zhì)要求
冷板使用的冷卻工質(zhì)應(yīng)滿足如下要求,即冷卻工質(zhì)應(yīng)具有良好的熱力學(xué)性能,不同冷卻工質(zhì)的物性參數(shù)參見中國國標(biāo) GB / T 15428-1995 的附錄 A 及 YD / T 3982-2021 中第 4 章和第 6 章的要求。
5.14 冷卻工質(zhì)選擇考量指標(biāo)
冷卻工質(zhì)液體具有不同的熱性能,在評估不同液體的熱性能時應(yīng)對此予以重視。表 7 顯示了液體評估時的重要參數(shù)。按照液冷裝置部署所在地的地理位置和氣候條件,這些參數(shù)需要綜合考慮。
表 7 冷卻工質(zhì)液體熱性能參數(shù)
5.2 冷板的設(shè)計與驗證
圖 9 冷板示意圖 (分體式)
冷板 (見圖 9) 的選擇取決于散熱要求、成本要求、操作參數(shù)及使用的浸潤材料等因素。二次側(cè)冷卻回路中與冷卻工質(zhì)接觸的所有部件所使用的材料必須要和冷卻工質(zhì)的浸潤材料清單 (WML) 相符。根據(jù)需要被冷卻的元器件不同的溫度要求、冷卻工質(zhì)參數(shù),例如流速、溫度和傳熱特性,冷板設(shè)計復(fù)雜難度也不同。例如,常用的微通道冷板結(jié)構(gòu)比較復(fù)雜,其中微通道主要是增加與液體接觸面積,以提高冷卻性能。而更簡化的冷板設(shè)計是帶有簡易內(nèi)部流體通道的模塊。
隨著設(shè)計復(fù)雜性的增加,成本也隨之增加。因此,如果使用簡單的設(shè)計就可以滿足冷卻需求,那就不需要通過增加設(shè)計的復(fù)雜性,來獲得更高的冷卻性能。
5.2.1 冷板設(shè)計考量指標(biāo)
在設(shè)計冷板時,需要考慮不同的參數(shù),這些參數(shù)如表 8 所示 (通常使用熱界面材料 (TIM) 來增強需要冷卻的部件與冷板之間的傳熱性能,這里不展開討論)。同時,還需要考慮冷板與內(nèi)部液體回路管道的物理連接。對于微通道冷板設(shè)計,也有一些重要參數(shù),其中翅片之間的間距是確定過濾裝置孔目大小設(shè)計要求的一個重要參考參數(shù),為避免污垢堵塞,建議液體中顆粒尺寸不大于 50μm。
表 8 冷板設(shè)計考量參數(shù)
5.2.2 冷板設(shè)計要求
冷板設(shè)計滿足如下要求:
應(yīng)根據(jù)芯片的型號尺寸及電子信息設(shè)備的內(nèi)部結(jié)構(gòu)進行設(shè)計,以獲得更好的換熱效率;在滿足芯片整個使用周期內(nèi)的殼溫要求下,盡可能優(yōu)化流道設(shè)計,減小冷板模塊的流阻;
應(yīng)保障滿足芯片插座的載荷要求及芯片對散熱器重量的要求;
應(yīng)考慮配管位置、方向及液體進出口位置,避免與電子信息設(shè)備產(chǎn)生結(jié)構(gòu)干涉;
冷板基板和流道宜采用銅或鋁合金材質(zhì),一個系統(tǒng)中不應(yīng)有兩種電位差較大的金屬;
應(yīng)考慮冷板的安裝及拆卸順序,滿足芯片的操作要求;
應(yīng)滿足芯片的扣合力技術(shù)要求,及安裝/拆除后散熱器底面平面度的技術(shù)要求;
冷板接口設(shè)計應(yīng)考慮冷板最大允許壓力和安全余量,并考慮拆裝冷板組件時可能產(chǎn)生的接口應(yīng)力等問題;
如使用配方液冷卻工質(zhì),緩蝕劑配方必須與冷板選用材質(zhì)相匹配,并兼顧整個系統(tǒng)的材質(zhì)匹配問題;
冷卻工質(zhì)的選用應(yīng)考慮與二次側(cè)循環(huán)回路中所有直接接觸的固體表面材質(zhì)間的相容性。
5.2.3 冷板熱性能要求
冷板熱性能應(yīng)滿足如下要求:
冷板使用者應(yīng)提供冷板入口處冷卻工質(zhì)的溫度和流量條件;
待冷卻芯片的殼溫在整個使用期間不應(yīng)超過芯片供應(yīng)商規(guī)定的最大殼溫值;
二次側(cè)冷卻環(huán)路總的流阻需要適配冷量分配單元循環(huán)泵工作點揚程能力;
系統(tǒng)總的流阻容量選擇以及待冷卻芯片的殼溫需要考慮一定的冗余,流阻容量的冗余宜不小于 10%,殼溫冗余宜不小于 3℃,以便滿足系統(tǒng)的容差需求;
冷板設(shè)計者宜提供冷板使用的熱邊界條件曲線 (見圖 10),即入口處冷卻工質(zhì)溫度與流經(jīng)冷板的冷卻工質(zhì)流量之間的依存關(guān)系。圖 10 給出了冷板設(shè)計的熱邊界條件曲線。當(dāng)冷板使用邊界條件(入口流量及入口溫度)位于曲線下方 (含曲線) 的任一邊界條件 (冷板入口處冷卻工質(zhì)的溫度及其流量) 時,該冷板的冷卻能力即可滿足待冷卻芯片的最大殼溫要求??赏瑫r參考冷板熱阻與冷板流阻曲線示意圖 (圖 11);
冷板入口處冷卻工質(zhì)流速不宜高于 1.5m/s,冷卻工質(zhì)供回液溫差宜控制在 5℃ - 10℃ 范圍內(nèi)。
圖 10 冷板設(shè)計熱邊界條件曲線
5.2.4 冷板熱性能測試
將冷板鎖固在待測芯片上,冷板的液體進出口與熱性能測試系統(tǒng)相連,同時確保測試環(huán)路中非凝性氣體排空,并將流經(jīng)冷板的液體流量調(diào)節(jié)到期望值,給待測芯片施加期望的功耗;待測試結(jié)果穩(wěn)定后,記錄冷板進出口的壓力值、待測芯片的殼溫、冷板入口液體溫度、給待測芯片施加的功耗值,以及流經(jīng)冷板的液體流量值。依據(jù)測試結(jié)果,分別依據(jù)式 (1) 和式 (2) 計算冷板在一定的流量范圍內(nèi)的熱阻值和流阻值,繪出冷板的熱性能曲線和流阻曲線 (見圖 11)。
R=(Tc - TL) ? Q ………………………………(1)
R —— 冷板熱阻,單位為 (℃/W)
Tc —— 待冷卻芯片的殼溫,單位為 (℃)
TL —— 冷板入口液體溫度,單位為 (℃)
Q —— 施加在芯片上的功耗值,單位為 (W)
ΔP=P1 - P2………………………………………(2)
ΔP —— 流經(jīng)冷板的流阻值,單位為 (KPa)
P1 —— 冷板進口的壓力值,單位為 (KPa)
P2 —— 冷板出口的壓力值,單位為 (KPa)
在用戶期望的冷板使用邊界條件下 (給定的 TL 和 Q),測得的冷板所能支持的殼溫值,在考慮標(biāo)準(zhǔn)差和冷板生命周期內(nèi)熱性能衰減之后不能高于芯片的最大殼溫。
圖 11 冷板熱性能和流阻曲線
5.3 冷量分配單元及冷卻性能
冷量分配單元 (CDU) 是一種用于在液體回路之間進行熱交換的裝置。CDU 組件包括接口、泵、液-液或風(fēng)-液熱交換器、儲液罐、閥門、控制裝置、監(jiān)控裝置、過濾器及各種傳感器,主要用于制冷量、流量、壓力及溫度的測量和控制。CDU 使用的各種組件材料必須要和所用冷卻工質(zhì)進行匹配測試驗證,確保其相容性。
CDU 將二次側(cè)流體回路與一次側(cè)回路隔離,提供二次側(cè)流體回路和一次側(cè)流體回路之間的連接及熱交換,CDU 的功能還包括對壓力、流量、溫度、露點控制、水質(zhì)潔凈度及泄漏監(jiān)測。通過使用 CDU 分離一次側(cè)和二次側(cè)回路,可降低潛在的泄漏 (二次側(cè)回路中的液體量較小,壓力和流速較低)。在使用優(yōu)化方面,通過 CDU 控制可以平衡由于溫度的要求、負載的不同及功耗優(yōu)化造成的各 IT 設(shè)備間的差異。
CDU 支持的機架數(shù)量可以從單個機柜擴展到組合機架的組或集群,液體通過安裝在機架中帶接頭的專門管道供回液歧管分配。CDU 的大小和參數(shù)設(shè)置取決所有 IT 設(shè)備集群產(chǎn)生的熱負荷 (見圖 12)。當(dāng)然各個功率水平因組件而異,確定熱負荷的大小需要考慮到未來有可能引入新技術(shù)時需要的熱冗余。此外,冷卻工質(zhì)的性質(zhì)和特性 (如導(dǎo)熱系數(shù)、粘度、比熱和密度) 也會影響冷卻能力和泵的工作功耗。
圖 12 冷量分配單元熱交換原理示意圖
5.3.1 冷量分配單元的考量指標(biāo)
在選擇 CDU 時,有些參數(shù)需要考量,其中一些參數(shù)如表 9 所示。另外,需要和 CDU 的供應(yīng)商確認(rèn),所有用于 CDU 部件的浸潤材料必須和冷卻工質(zhì)材料相容。
表 9 冷量分配單元 (CDU) 考量參數(shù)
5.3.2 冷量分配單元冷卻性能
CDU 的換熱器冷卻能力取決于其趨近溫度特性。趨近溫度是冷卻工質(zhì)在 IT 設(shè)備入口處的溫度減去一次側(cè)冷卻水在 CDU 入口處的溫度。除了趨近溫度之外,在考慮 CDU 的散熱及機械性能時,還有其他因素需要考慮。其關(guān)鍵參數(shù)包括:
趨近溫度 (宜選用 (3-10)°C)
液體成分 (例如:純水、25%PG、55%PG)
一次側(cè)流量、二次側(cè)流量和泵功率和揚程
一次側(cè)用水溫度等級 (例如:W27、W32、W45、W+ 等等)
由于沒有一套標(biāo)準(zhǔn)化參數(shù)用于不同 CDU 之間的性能比較,建議每個客戶與各自的 CDU 供應(yīng)商合作,依據(jù)實際操作條件,評估所考慮的 CDU 能否滿足散熱要求。例如,可以讓供應(yīng)商提供 CDU 在特定液體操作下,在一次側(cè)和二次側(cè)不同流量的對應(yīng)關(guān)系、CDU 的排熱能力及趨近溫度等。
5.3.3 冷量分配單元一次側(cè)冷卻系統(tǒng)
室外冷源:
參考 《GB 50019 - 2015 工業(yè)建筑供暖通風(fēng)與空氣調(diào)節(jié)設(shè)計規(guī)范》,CDU 一次側(cè)冷卻室外機在采用蒸發(fā)冷卻時,可以將供水溫度逼近室外濕球溫度。因此,在不使用制冷機組的情況下,CDU 一次側(cè)最低供水溫度主要由項目所在地的夏季空調(diào)室外計算濕球溫度確定 (可參考 ASHRAE 各地環(huán)境以及十年極端天氣)。參考 《Liquid Cooling Guidelines for Datacom Equipment Centers》,開式冷卻塔循環(huán)水與外界空氣直接接觸,需要排放廢水。且水中雜質(zhì)顆粒物較多,需要防止結(jié)垢。為保證制冷效果與穩(wěn)定性,CDU 一次側(cè)冷卻設(shè)備不推薦使用開式冷卻塔,建議采用閉式冷卻塔或者干冷器。
一次側(cè)管材:
參考 ASHRAE 《Liquid Cooling Guidelines for Datacom EquipmentCenters》,一次側(cè)回路水管材質(zhì)可以考慮:銅合金:122、220、230、314、360、377、521、706、836、952;聚合物 / 彈性體:丙烯腈丁二烯橡膠 (NBR)、乙丙二烯單 (EPDM)、聚四氟乙烯 (PTFE);不銹鋼:300 系列、400 系列、碳鋼。
水質(zhì)要求:
CDU 一次側(cè)循環(huán)水水質(zhì)的好壞直接影響 CDU 的換熱效率以及使用壽命。為支撐液冷系統(tǒng)長期穩(wěn)定運行,CDU 一次側(cè)閉式循環(huán)水系統(tǒng)水質(zhì)可以參考 GB/T 29044-2012 《采暖空調(diào)系統(tǒng)水質(zhì)》 中集中空調(diào)間接供冷閉式循環(huán)冷卻水系統(tǒng)標(biāo)準(zhǔn) (見表 10)。
表 10 GB / T 29044-2012 《采暖空調(diào)系統(tǒng)水質(zhì)》 中集中空調(diào)間接供冷閉式循環(huán)冷卻水系統(tǒng)標(biāo)準(zhǔn)
表 11 ASHRAE 一次側(cè)循環(huán)水要求同時,可參考 ASHRAE_TC.9.9_ Water-Cooled Servers Common Designs, Components, and Processes_2019 (見表 11)。
5.3.3 液冷群控系統(tǒng)
液冷群控系統(tǒng)負責(zé)室外冷源、液冷 CDU、一次側(cè)循環(huán)水泵、補水、水質(zhì)監(jiān)測、漏液告警等,通過群控系統(tǒng)實現(xiàn)組網(wǎng)運行、節(jié)能控制,具備主備、輪詢、冗余配置、故障切換以及供冷連續(xù)性功能。在群控模式下,主控制器根據(jù)機房實際負載情況,對液冷機組進行加減機和降頻控制和巡檢告警等。
5.4 機架式冷卻工質(zhì)供回液歧管設(shè)計考量
機架供回液歧管是二次側(cè)回路中的一個關(guān)鍵部件,用于分配流入或流出機架內(nèi) IT 設(shè)備的冷卻工質(zhì) (見圖 13)。在使用機架式 CDU 的液冷部署中,歧管可以與 IT 設(shè)備和機架式 CDU 直接構(gòu)成完整的閉式循環(huán)回路。歧管結(jié)構(gòu)的特點是沿著管的方向有一系列形成液體回路的快換接頭連接著 IT 設(shè)備,連接接頭有盲插、手動連接、螺紋連接等多種類型。接頭的直徑和歧管尺寸的選擇需要滿足當(dāng)前和未來液體流量及操作性能要求,以及 IT 設(shè)備內(nèi)的液體流動拓撲結(jié)構(gòu)和冷板數(shù)量需求。為了有效利用空間,冷卻工質(zhì)歧管位置應(yīng)位于機架占地面積內(nèi)。
歧管的位置通常在機架內(nèi)后部,也可以根據(jù)IT設(shè)備的部署及配電設(shè)計要求,放置在機架的前面或側(cè)面。供回液歧管位置的選擇需要確保滿足快換接頭、電源接口、網(wǎng)絡(luò)和其他 I/O 的操作要求,包括 IT 設(shè)備運行的電纜和軟管的管理,需要方便 IT 設(shè)備的接入和斷開。供回液歧管為二次側(cè)液體回路提供了一個重要的連接點,液體回路的布局可能會有所不同 (此處不詳細討論),供回液歧管與液冷系統(tǒng)管網(wǎng)的連接點可以在機架的底部或頂部,但因連接位置點泄漏風(fēng)險相對較大,在底部泄漏后滴落在地板上風(fēng)險更低,所以建議連接點設(shè)置在機架底部。
二次側(cè)回路的連接部件包括能夠保持二次側(cè)操作壓力的管道和快換接頭,同時,快換接頭需要滿足爆破壓力的要求工質(zhì) (見第七章壓力安規(guī))。典型的數(shù)據(jù)中心預(yù)期使用壽命是 10 - 20 年,除快換接頭外,由于歧管的部分結(jié)構(gòu)壽命限制,可能需要對供回液歧管進行維修、維護和升級,還應(yīng)顧及供回液歧管的裝配、調(diào)試和終身維護,因此需要仔細考慮歧管的設(shè)計和選擇。
圖 13 機架式冷卻工質(zhì)供回液歧管示意圖
5.4.1 冷卻工質(zhì)供回液歧管考量指標(biāo)
當(dāng)評估不同的歧管設(shè)計方案時,需要考慮不同的參數(shù)以滿足歧管各支路流量分配的均勻性,以及歧管提供流量與需求流量的匹配性。其中一些參數(shù)如表 12 所示。
表 12 冷卻工質(zhì)供回液歧管考量參數(shù)
5.4.2 冷卻工質(zhì)供回液歧管參考設(shè)計要求
任何歧管的參考設(shè)計都需要滿足表 13 中列出的最低運行條件,以確保其能夠正常工作,同時在世界上絕大多數(shù)地方運輸過程中不會出現(xiàn)問題。
表 13 冷卻工質(zhì)供回液歧管參考設(shè)計要求
5.5 冷板式液冷回路中循環(huán)泵的選擇
泵是向其它系統(tǒng)重要部件提供液體流量的核心。泵的選擇是系統(tǒng)設(shè)計最重要的一環(huán),在設(shè)計液冷解決方案的早期階段就需要考慮。為了使冷卻工質(zhì)與泵相匹配,泵的形態(tài)及制造材料有多種選擇。出于維護和降低故障的目的,還可能會采用雙泵配置的冗余設(shè)計,無論是串聯(lián)配置還是并聯(lián)配置,管路的連接都需要考慮空間、布局、尺寸、材料相容性、維護方便性和連接類型。
泵由各種類型的電機驅(qū)動,在評估或優(yōu)化裝置的能源效率時,需要考慮這一點。泵的安裝位置決定了其局限性和選擇標(biāo)準(zhǔn)。泵在二次側(cè)的位置的選擇有很大的差異性。具體來說,如果泵放在 IT 設(shè)備中,其高度需不高于 IT 設(shè)備的機箱高度。IT 設(shè)備內(nèi)的空間非常寶貴,泵的集成構(gòu)成了服務(wù)器機箱布局的一部分。IT 設(shè)備供應(yīng)商在設(shè)計液冷方案的時候需要管理機箱內(nèi)冷卻工質(zhì)的流量,使其和需被冷卻的電子元器件熱負載相匹配。
基于這一目的,泵可直接集成到冷板上,或以分離的形式提供循環(huán)動力和所需流量。作為一個好的系統(tǒng)設(shè)計,設(shè)計人員還需考慮壓降和效率。此外,還需滿足冷卻工質(zhì)與泵內(nèi)部材料和過濾裝置的材料相容性,以防污染顆粒堵塞泵并降低其工作效率,甚至導(dǎo)致故障。液體特性包括粘度,液體粘度的變化會改變泵的工作效率和壽命,選擇不當(dāng)?shù)谋每赡軙档捅玫膲勖A硪粋€考慮因素是工作環(huán)境,包括液體的特性和操作溫度,這將決定泵內(nèi)使用的部件材料,因為冷卻工質(zhì)將與泵內(nèi)件直接接觸。泵的選型要求還取決于管道布局 / 設(shè)計、管道長度、彎管品質(zhì)和材料選擇等參數(shù),這些可能會導(dǎo)致液體和管壁摩擦并形成湍流,從而導(dǎo)致壓降增加。
5.5.1 泵的選擇考量指標(biāo)
表 14 泵的選擇考量參數(shù)
5.6 快換接頭的選擇方法
在二次側(cè)流體回路中,快換接頭是保證服務(wù)器具備在線插拔維護性能的關(guān)鍵部件 (見圖 14),決定了 IT 設(shè)備的可維護性和模塊化設(shè)計,但其會給液冷系統(tǒng)帶來額外的流阻,因此快換接頭選型應(yīng)考慮其流阻特性和后續(xù)服務(wù)器升級的需求。
快換接頭是公 / 母配置 (插頭 / 插座、插件 / 主體等)配對使用的。
斷開時,集成在快換接頭內(nèi)部的用于密封流體流動的自封閥芯會斷開流體的連接,以保護周圍設(shè)備不受影響,因此其選型必須嚴(yán)格限制每次斷開時冷卻工質(zhì)的泄漏量;一般要求單次插拔泄漏量小于 1/6 液滴 (連續(xù)插拔 6 次,允許一滴滴落) 或小于 0.5 毫升,且建議使用液體泄漏量最小的快換接頭,此類接頭通常為無滴、無溢流或平齊斷面設(shè)計。
在使用手動插拔快換接頭連接的系統(tǒng)中,應(yīng)考慮人體工程學(xué)問題 (例如鎖緊機構(gòu)、連接力、空間限制),確保易于維修。盲插設(shè)計通常還需要考慮安裝公差和不對中公差,設(shè)計可靠的盲插配合機構(gòu) (如導(dǎo)向裝置)??鞊Q接頭與二次側(cè)回路組件 (機架液歧管、CDU、軟管等)的接口可以通過多種方式實現(xiàn)。對于軟管連接,椎管扣壓式或卡箍式結(jié)構(gòu)提供了一種簡單可靠的連接方法;對于更剛性的連接,如機架液歧管組件,螺紋連接比較常見,應(yīng)注意的是,螺紋連接應(yīng)禁止使用生料帶和螺紋密封膠。SAEJ 1926 [2] 或 G / BSPP ISO 1179 [3] 等 O 形圈連接堅固可靠,便于安裝和制造。
圖 14 快換接頭示意圖(圖片源自 OCP paper: UQD Specification Revision 1.0)
5.6.1 快換接頭考量指標(biāo)
表 15 中列出了選擇冷板式液冷快換接頭時需要考慮的參數(shù)。需要注意的是,工作壓力和爆破壓力不同,工作壓力可定義為正常工作條件下的最大系統(tǒng)壓力,爆破壓力表示部件發(fā)生災(zāi)難性故障時的最小壓力。
表 15 快換接頭考量參數(shù)
*無法提供插拔力曲線的,至少應(yīng)提供設(shè)計工況下的插拔力值,尤其在手動插拔設(shè)計中,插拔力必須滿足運維人員可手動插拔的要求。
5.7 二次側(cè)管路
二次側(cè)管路將 CDU 和末端服務(wù)器冷板相連,一般連接方式有直連和環(huán)形管路連接兩種 (見圖 15、圖 16)。環(huán)形管路是二次側(cè)回路中的一個關(guān)鍵部件,用于連接 CDU 的二次側(cè)和機架歧管,實現(xiàn)冷卻工質(zhì)均勻分配;環(huán)形管網(wǎng)包含供液環(huán)管、回液環(huán)管、CDU 支路、機架歧管支路、排氣裝置和排液口等,用以供液環(huán)管和回液環(huán)管分別形成環(huán)狀
閉合回路,且提高環(huán)狀閉合回路系統(tǒng)的流量均勻性。另外,環(huán)形管網(wǎng)中無死端,液體一直處于流動狀態(tài),不易變質(zhì)。
每個 CDU 支路和機架支路上都安裝有閥門連接 CDU 和機架歧管,便于單個設(shè)備的維護。為確保局部管段檢修或發(fā)生故障時,其它管段能正常運行,不間斷供液,應(yīng)采用閥門將環(huán)形管網(wǎng)分成若干獨立段,一般為相鄰機架管路段之間用閥門隔開,也可將多個機架管路隔開。
圖 15 直連式示意圖
圖 16 環(huán)形管路示意圖
環(huán)形管網(wǎng)一般布置在靜電地板下,管網(wǎng)上的閥門操作手柄應(yīng)方便操作,不與機架底座或靜電地板立柱相干涉;環(huán)形管網(wǎng)段與段之間、支路與 CDU、機架歧管之間通過快裝卡盤或者法蘭連接。當(dāng)管網(wǎng)較長時,應(yīng)在某一段或某個連接處,采用軟連接和活套法蘭,采用軟連接吸收設(shè)計及加工時長度方向誤差,采用活套法蘭吸收法蘭焊接時的角度誤差。
環(huán)形管網(wǎng)的管徑選型根據(jù) CDU 流量以及機架數(shù)量進行核算,支路管徑與 CDU 和機架歧管接口匹配。環(huán)形管網(wǎng)宜采用 304 或以上不銹鋼材料在工廠內(nèi)預(yù)制完成,施工現(xiàn)場直接拼裝。不銹鋼管道焊接采用氬弧焊工藝,單面焊接,雙面成型。每一段管路都需無塵車間生產(chǎn)確保管內(nèi)潔凈,以及封閉包裝發(fā)往現(xiàn)場,且出廠前都必須經(jīng)過酸洗鈍化及超聲波清洗 (見表 16)。
表 16 環(huán)形管網(wǎng)參考設(shè)計輸入
5.8 背板空調(diào)
背板空調(diào)負責(zé)液冷服務(wù)器風(fēng)冷部分散熱,其由背板空調(diào)系統(tǒng) (外殼、風(fēng)機、換熱盤管、控制器)、工質(zhì)管道及閥件、配電系統(tǒng)及自控系統(tǒng)組成,用于保障機組實現(xiàn)最優(yōu)性能和工藝設(shè)備等安全運行。背板空調(diào)與機架緊密結(jié)合,安裝在機架后門。背板空調(diào)常用工況送風(fēng)溫度 ≤ 25℃,回風(fēng)溫度 35℃。
減少泄漏的主要方法是采用穩(wěn)健的泄漏預(yù)防策略。同時,在實際設(shè)備安裝操作中,需要制定完善的泄漏管理計劃,管理計劃包括泄漏檢測和干預(yù),且需要滿足數(shù)據(jù)中心的設(shè)施運行要求。
在二次側(cè)冷卻回路中,需要在不同的存在泄漏風(fēng)險的位置進行檢測,如 CDU、機架、快換接頭、和/或計算節(jié)點,可采用間接檢測方法,可通過監(jiān)測和分析現(xiàn)有硬件和傳感器的狀態(tài),檢測并識別到管路中與泄漏特征匹配的微小壓降和/或流量變化。而直接檢測方法是在高風(fēng)險區(qū)域部署專用泄漏檢測硬件。典型的直接檢測裝置為點探測器、薄膜檢測帶或泄漏檢測線纜,當(dāng)其與泄漏的導(dǎo)電冷卻液接觸時會記錄并告警。為了進行可靠的泄漏檢測,其傳感器應(yīng)放置在發(fā)生泄漏時冷卻工質(zhì)與之直接接觸或有可能聚集后再接觸的區(qū)域,比如機架、CDU 和 / 或二次側(cè)環(huán)路管道等設(shè)施的下方,以檢測二次側(cè)環(huán)路管路和機架之間和/或冷卻工質(zhì)輸送過程中的潛在泄漏風(fēng)險。
由于計算節(jié)點通常是 IT 設(shè)備中最昂貴的組件,且存在泄漏的導(dǎo)電冷卻工質(zhì)可能造成設(shè)備損壞和數(shù)據(jù)丟失等風(fēng)險,因此需要檢測計算節(jié)點附近的潛在泄漏,而且在檢測泄漏和快速定位發(fā)生泄漏的計算節(jié)點位置的同時,需要吸附、儲存和/或?qū)Я餮b置,避免漏液與高價值設(shè)備接觸,爭取人工處理響應(yīng)所需的時間。另外,增加用于確定泄漏位置的傳感器,會帶來成本相應(yīng)增加。
泄漏有不同級別的干預(yù)方式,最低級別的干預(yù)是手動干預(yù),即當(dāng)發(fā)生泄漏時,會通知設(shè)施人員到現(xiàn)場處理,但人員響應(yīng)時間周期內(nèi)可能已造成損失。高級別的干預(yù)是自動電氣干預(yù),即在發(fā)送泄漏事件的同時對 IT 設(shè)備進行數(shù)據(jù)存儲、關(guān)機和 / 或自動斷電。這可以降低暴露在泄漏/冷卻工質(zhì)中的硬件損壞或數(shù)據(jù)丟失的概率,但需要考慮如何處理被泄漏的液體接觸但被挽救了的設(shè)備。還有一種更好的的方法是自動電氣和流體干預(yù),也就是當(dāng)檢測到泄漏通知時,IT 設(shè)備斷電,同時冷卻液關(guān)閉。這可以更大限度地避免大量硬件設(shè)施暴露接觸到泄漏液體中,從而方便維修,減少損失。當(dāng)然,泄漏自動干預(yù)會造成成本的增加,是否采用需要根據(jù)實際需求進行權(quán)衡。
泄漏檢測分類分為間接和直接兩種方式:
間接方式:通過使用現(xiàn)有的壓力、流量、溫度和氣泡等傳感器和算法,來確定泄漏;
直接方式:在特定位置 (如上所述)使用泄漏繩 / 電纜、薄膜檢測帶
等檢測作為傳感器,直接檢測漏液。
泄漏干預(yù)分類分為兩種方式:
手動干預(yù):在檢測到泄漏后使用手動干預(yù),例如,關(guān)閉流量控制閥并關(guān)閉 IT 設(shè)備;
自動干預(yù):在檢測到泄漏后使用自動干預(yù)方法,例如,IT 設(shè)備斷電和/或冷卻液關(guān)閉。
液冷系統(tǒng)及其部件需要符合當(dāng)?shù)匕踩?guī)范,也可參考國際電工委員會 (IEC) 針對 IT 設(shè)備的安全標(biāo)準(zhǔn),即 IEC 60950-1 [4] 和 IEC 62368-1 [5] 。
IEC 62368 - 1 《音頻 / 視頻,信息和通信技術(shù)設(shè)備第 1 部分:安全要求》 第 3 版 (2018 年) 是新的安全標(biāo)準(zhǔn),其要求冷板以正常工作壓力的 3 倍壓力進行爆破壓力測試,允許變形但不能泄漏;而在正常工作壓力下 (例如:40psi) 液體不泄漏,冷板無變形。
數(shù)字化和綠色低碳已經(jīng)成為經(jīng)濟社會高質(zhì)量、可持續(xù)發(fā)展的關(guān)鍵推動力。中國 “雙碳” 目標(biāo)的提出,更讓數(shù)字化與綠色低碳相互協(xié)同,加速推動數(shù)字基礎(chǔ)設(shè)施優(yōu)化升級,推進千行百業(yè)更快速實現(xiàn)碳中轉(zhuǎn)型,也成為中國發(fā)展數(shù)字經(jīng)濟,把握新一輪科技革命和產(chǎn)業(yè)變革新機遇,構(gòu)建現(xiàn)代化經(jīng)濟體系的重要引擎。英特爾植根中國,攜手生態(tài)伙伴積極行動,不斷協(xié)同推進技術(shù)創(chuàng)新,堅定不移實施責(zé)任戰(zhàn)略,助力中國加速實現(xiàn)“雙碳”目標(biāo)。
《綠色數(shù)據(jù)中心創(chuàng)新實踐 —— 冷板液冷系統(tǒng)設(shè)計參考》 就是在生態(tài)伙伴積極參與和大力支持下,應(yīng)對 IT 設(shè)備功耗和功率密度的增加,需要新的冷卻技術(shù)來滿足不斷提高的計算性能需求,而共同探索和提出的更經(jīng)濟、更高效的冷卻方案參考。本規(guī)范借鑒國際經(jīng)驗,經(jīng)大量實驗,系統(tǒng)闡述了冷板液冷系統(tǒng)設(shè)計相關(guān)的要求,以及未來液冷設(shè)計需要遵守的規(guī)范要求,可為數(shù)據(jù)中心液冷方案設(shè)計與研究提供路徑與借鑒。
就在本設(shè)計參考規(guī)范推出前不久,英特爾也發(fā)布了到 2040 年實現(xiàn)溫室氣體零排放的目標(biāo)及里程碑。我們也希望籍此設(shè)計參考規(guī)范面世,進一步深化與產(chǎn)業(yè)伙伴的合作創(chuàng)新,繼續(xù)深入探討冷板液冷技術(shù),不斷完善本規(guī)范,進而為推進 IT 設(shè)備、算力設(shè)施,尤其是作為數(shù)字經(jīng)濟底座的數(shù)據(jù)中心進一步節(jié)能降耗,探討新方案、新途徑,為綠色新型基礎(chǔ)設(shè)施建設(shè)打造優(yōu)良實踐,并由此釋放整個產(chǎn)業(yè)生態(tài)和科技生態(tài)之力,為中國數(shù)字基建脫碳拓展更廣闊的道路,為數(shù)字經(jīng)濟整體邁向 “碳中和” 奠定堅實基礎(chǔ),并助力中國為全球可持續(xù)發(fā)展做出更大貢獻。
來源:(網(wǎng)絡(luò))
本文標(biāo)題:數(shù)據(jù)中心冷板式液冷散熱系統(tǒng)設(shè)計參考規(guī)范
本文鏈接:http://www.yangziriver.cn/faq3/180.html [版權(quán)聲明]除非特別標(biāo)注,否則均為本站原創(chuàng)文章,轉(zhuǎn)載時請以鏈接形式注明文章出處。