大型數(shù)據(jù)中心浸沒(méi)式液冷與風(fēng)冷投資成本分析

作者：蘭洋科技????瀏覽量：8445????時(shí)間：2023年03月16日????標(biāo)簽: 液冷技術(shù) 風(fēng)冷散熱浸沒(méi)式液冷

液冷技術(shù)相較于傳統(tǒng)的風(fēng)冷有節(jié)能降耗等幾個(gè)公認(rèn)的優(yōu)勢(shì)。然而，投資成本被視為阻礙其部署的常見(jiàn)障礙。本文中，我們首先論證了在一個(gè)總?cè)萘繛?2 兆瓦的數(shù)據(jù)中心，當(dāng)機(jī)架功率密度為 10kW時(shí)，采用傳統(tǒng)風(fēng)冷與基于 IT 機(jī)箱的浸沒(méi)式液冷相比，初始投資大致相等。由于液冷技術(shù)的主要優(yōu)勢(shì)在于可以高密度緊湊部署，因此，我們又在容量相同的數(shù)據(jù)中心，量化比較了按每機(jī)架 20kW和每機(jī)架 40kW 的方式部署液冷時(shí)的投資成本差異。結(jié)果顯示，采用液冷比傳統(tǒng)風(fēng)冷分別節(jié)省了 10%和 14%的投資成本。

概述

IT 設(shè)備采用液冷并不是一件新鮮事物。它在市場(chǎng)上已存在了幾十年。但是以往這種解決方案往往出現(xiàn)在較為小眾的應(yīng)用，比如高性能計(jì)算（HPC）和游戲PC主機(jī)。但是如今，一些重要趨勢(shì)和驅(qū)動(dòng)因素的出現(xiàn)，使液冷成為更多主流 IT 用戶越來(lái)越青睞的制冷解決方案。

與傳統(tǒng)的風(fēng)冷相比，液冷有一些明顯的優(yōu)勢(shì)。其中包括：

降低對(duì)水的需求——在水資源緊張的地區(qū)，當(dāng)?shù)厥姓块T(mén)不斷給數(shù)據(jù)中心行業(yè)施加壓力。液冷不像風(fēng)冷需要使用大量的水進(jìn)行蒸發(fā)冷卻，通?？梢詫?shí)現(xiàn) PUE 小于 1.2。
節(jié)省空間——液冷可顯著減少 IT 系統(tǒng)的占用空間，從而使企業(yè)能在全球更多地點(diǎn)部署 IT 系統(tǒng)，包括亞洲等一些空間受限的地區(qū)。
節(jié)能——綠色網(wǎng)格（thegreengrid.org）發(fā)布的一份有關(guān)能源影響的報(bào)告顯示，液冷能效的提升可實(shí)現(xiàn) 48%的能源節(jié)省。

然而，人們對(duì)液冷的投資成本了解有限，并且經(jīng)常被視為阻礙其部署的常見(jiàn)障礙。在本文中，我們分析了一個(gè)總?cè)萘繛?2 兆瓦的數(shù)據(jù)中心采用傳統(tǒng)的風(fēng)冷技術(shù)（風(fēng)冷冷凍水機(jī)組）和液冷技術(shù)（基于 IT 機(jī)箱的浸沒(méi)式液冷技術(shù)）的成本差異。我們將介紹不同功率密度下的液冷技術(shù)方案，以顯示其對(duì)成本的影響。

圖 1 顯示了初投資分析的結(jié)果。分析表明，對(duì)于相同的功率密度（10kW/機(jī)架），風(fēng)冷和液冷數(shù)據(jù)中心的投資成本大致相等。但是如前文所述，液冷還可以實(shí)現(xiàn) IT 系統(tǒng)的壓縮，從而可以節(jié)省初投資。與每機(jī)架 10kW 的傳統(tǒng)數(shù)據(jù)中心相比，提升 2 倍功率密度（每機(jī)架 20kW）可使初投資可降低 10%。如果提升 4 倍功率密度（每機(jī)架 40kW），可節(jié)省高達(dá) 14%的投資成本。

圖1 初期投資分析的結(jié)果.jpg

▲圖1 浸沒(méi)式液冷和風(fēng)冷初期投資成本分析

在下文中，我們將詳細(xì)介紹所比較的架構(gòu)，描述用于分析所使用的方法論、假設(shè)條件和數(shù)據(jù)，并采用瀑布圖的方式逐項(xiàng)比較，指出成本差異的來(lái)源。

風(fēng)冷架構(gòu)

該投資成本分析的基準(zhǔn)案例是一個(gè)使用風(fēng)冷冷水機(jī)組的數(shù)據(jù)中心。該架構(gòu)具有以下特點(diǎn)：

冗余的風(fēng)冷冷凍水機(jī)組
冗余水泵及管路
用于 IT 機(jī)房和基礎(chǔ)設(shè)施空間的冗余的冷凍水精密空調(diào)（CRAH）
通過(guò)風(fēng)管與精密空調(diào)相連接的熱通道氣流遏制系統(tǒng)
無(wú)高架地板

之所以選擇此架構(gòu)作為比較的基準(zhǔn)，是因?yàn)樗且环N性價(jià)比較高的設(shè)計(jì)，并且在中型和大型數(shù)據(jù)中心應(yīng)用非常普遍。用于數(shù)據(jù)中心的各種制冷技術(shù)更詳細(xì)地描述了這種架構(gòu)及其他常見(jiàn)設(shè)計(jì)。圖 2 是該架構(gòu)的總體示意圖。

圖2 風(fēng)冷架構(gòu).jpg

▲圖2 風(fēng)冷架構(gòu)示意圖

液冷架構(gòu)

在本分析中，我們選擇了基于 IT 機(jī)箱的浸沒(méi)式液冷，因?yàn)樗m合于常見(jiàn)的數(shù)據(jù)中心機(jī)架架構(gòu)，并且?guī)缀跛袩崃慷伎梢酝ㄟ^(guò)液體進(jìn)行轉(zhuǎn)移。圖 3 是這種液冷方法的總體示意圖。適用于數(shù)據(jù)中心和邊緣應(yīng)用的液冷技術(shù)一文中介紹了現(xiàn)有的幾種架構(gòu)以及它們之間的區(qū)別。

圖3 基于IT機(jī)箱的浸沒(méi)式液冷.jpg

▲圖3 基于IT機(jī)箱的浸沒(méi)式液冷

基于 IT 機(jī)箱的浸沒(méi)式液冷可極大地簡(jiǎn)化基礎(chǔ)設(shè)施的架構(gòu)，因?yàn)?IT 設(shè)備可以使用溫水進(jìn)行冷卻。我們假設(shè)入口溫度為 40°C（104°F），在許多氣候條件下，這種溫度可以采用 100%的自然冷卻。圖 4 是分析所使用架構(gòu)的總體示意圖。

圖4 液冷架構(gòu).jpg

▲圖4 液冷架構(gòu)示意圖

在這種架構(gòu)中，盡管大部分熱量都是通過(guò)溫水循環(huán)管路排出，但配電室仍需要輔助制冷，同時(shí)還需轉(zhuǎn)移溫水未能完全處理的 IT 設(shè)備熱量。從而使環(huán)境中的空氣溫度保持在舒適的體感溫度，并確保不超出設(shè)備正常工作的環(huán)境溫度，比如電池和斷路器。

相同密度下的投資成本分析

我們首先分析了一個(gè)單機(jī)架功率密度為 10kW，總?cè)萘繛?2 兆瓦的數(shù)據(jù)中心，在采用風(fēng)冷架構(gòu)和液冷架構(gòu)時(shí)的成本差異。表 1 列出了用于架構(gòu)比較的主要假設(shè)。

表1 架構(gòu)假設(shè)

表1 架構(gòu)假設(shè).jpg

服務(wù)器風(fēng)扇能耗假設(shè)占服務(wù)器總能耗的 9%，這是相對(duì)保守的數(shù)值。實(shí)際測(cè)量的風(fēng)扇能耗值為 15-20%，尤其是在 GPU 等高密度計(jì)算設(shè)備上。

在展示結(jié)果之前，我們需要說(shuō)明兩個(gè)重要的考慮因素，因?yàn)樗鼈儯?）會(huì)影響進(jìn)行蘋(píng)果對(duì)蘋(píng)果的比較能力，以及（2）可以解釋新興液冷技術(shù)的成本假設(shè)。

每瓦數(shù)據(jù)中心成本的歸一化——數(shù)據(jù)中心建設(shè)成本通常以每瓦 IT 容量多少錢來(lái)表示。例如，如果一個(gè)數(shù)據(jù)中心最多可以承載 2 兆瓦的 IT 負(fù)載，并且建造成本為 2,000 萬(wàn)美元，那么其成本為 10 美元/瓦。成本可能會(huì)因冗余度或架構(gòu)的不同而有很大差異。

在比較風(fēng)冷架構(gòu)與液冷架構(gòu)時(shí)，我們?cè)谟?jì)算每瓦 IT 成本時(shí)會(huì)遇到一個(gè)難題。對(duì)于相同的計(jì)算能力，液冷具有較低的總 IT 負(fù)載。因?yàn)橄嗤?IT 計(jì)算負(fù)載下，風(fēng)冷服務(wù)器的內(nèi)部 IT 風(fēng)扇消耗的電力多于基于 IT 機(jī)箱的浸沒(méi)式制冷模式下內(nèi)部微型泵的能耗。為補(bǔ)償這一點(diǎn)，我們將 IT 負(fù)載定義為“不含制冷的服務(wù)器容量”，并將其用作每瓦成本計(jì)算中的分母。這一點(diǎn)可參見(jiàn)我們的假設(shè)（表 1）以及風(fēng)冷和基于 IT 機(jī)箱的浸沒(méi)式制冷中的 IT 總設(shè)計(jì)容量。

基于 IT 機(jī)箱的浸沒(méi)式液冷的成本假設(shè)——對(duì)于這種液冷架構(gòu)，為了部署液冷，在 IT 設(shè)備中增加了相關(guān)技術(shù)和成本支出。為了便于分析，我們匯總了服務(wù)器以及機(jī)架內(nèi)部產(chǎn)生的所有成本。這包括：絕緣液，微型泵，管道，熱交換器，液冷散熱器，防滴漏連接器，密封機(jī)箱和機(jī)架式分液器。請(qǐng)注意，對(duì)于機(jī)箱級(jí)浸沒(méi)式液冷而言，可以節(jié)省風(fēng)冷散熱器和風(fēng)扇的成本，因此本研究中的成本差異是假定的差值。基于機(jī)箱的浸沒(méi)式液冷技術(shù)尚未完全成熟，因此從一次性的計(jì)算驗(yàn)證成本到未來(lái)優(yōu)化供應(yīng)鏈后的成本，二者可能差異很大。我們對(duì)這些成本進(jìn)行了敏感性分析，估計(jì)最高為 1.10 美元/瓦左右，最低為 0.50美元/瓦左右。在本研究中，我們針對(duì) 10kW/機(jī)架選擇了 0.77 美元/瓦的成本，這是一個(gè)在任何大規(guī)模部署中均可實(shí)現(xiàn)的保守值。請(qǐng)注意，如果密度從每機(jī)架 10kW 的基準(zhǔn)升高，此值也將提高。我們的研究考慮了成本節(jié)省因素，例如在空間壓縮時(shí)每 kW IT 的機(jī)架分液器和機(jī)箱數(shù)量會(huì)減少。

研究結(jié)果

許多有關(guān)液冷的成本研究都考慮了總擁有成本和成本壓縮的一些因素。這樣我們就很難了解哪些地方出現(xiàn)了初始成本的節(jié)省或成本的變化。本項(xiàng)研究?jī)H針對(duì)初投資，首先研究了相同機(jī)架功率密度下的投資成本，然后比較了密度增加后的另外兩種投資成本情況。

圖 5 中的瀑布圖顯示了成本的主要類別及其變化。成本包括設(shè)備、安裝、設(shè)計(jì)和項(xiàng)目成本。在 10kW 每機(jī)架的機(jī)架密度上，研究顯示，100%機(jī)箱浸沒(méi)式液冷數(shù)據(jù)中心的成本與傳統(tǒng)風(fēng)冷數(shù)據(jù)中心的成本大致相同。

圖5風(fēng)冷與液冷數(shù)據(jù)中心每瓦成本差異（均為每機(jī)架10kW）.jpg

▲圖5 風(fēng)冷與液冷數(shù)據(jù)中心每瓦成本差異（均為每機(jī)架 10kW）

冷凍水機(jī)組/冷凍水精密空調(diào)——節(jié)省 0.91 美元/瓦。這表示的是去掉風(fēng)冷冷凍水機(jī)組和冷凍水精密空調(diào)（CRAH）。

液冷技術(shù)——成本增加了 0.77 美元/瓦。此額外成本是在服務(wù)器和機(jī)架方面的成本增加。如前所述，這包括密封機(jī)箱、絕緣液、液冷散熱器、管道、微型泵、熱交換器、防滴漏連接器和機(jī)架式分液器。

干冷卻器和風(fēng)冷型精密空調(diào)——成本增加 0.31 美元/瓦。這種架構(gòu)可以在無(wú)壓縮機(jī)的情況下將熱量直接排至干冷器。增加成本的設(shè)備包括 N+1 冗余的干冷器，以及額外的風(fēng)冷直膨式機(jī)房精密空調(diào)（CRAC），用于去除溫水無(wú)法帶走的熱量。注意這里也可以使用其他架構(gòu)，比如可以降低冷凍水機(jī)組的容量并使用冷凍水精密空調(diào)，這對(duì)于大型基礎(chǔ)設(shè)施環(huán)境可以獲得更多的收益。

更換泵和管道——成本增加 0.03 美元/瓦。這一小幅成本增加是對(duì)于液冷服務(wù)器由于冷卻水（CW）管道更換為溫水管道。額外增加的管道是因?yàn)樾枰獙⒂糜诿颗艡C(jī)柜的管道下沉到每個(gè)機(jī)柜并增加閥門(mén)。這部分成本的增加與管道保溫成本的節(jié)省幾乎持平。液冷的優(yōu)點(diǎn)是許多管道不需要保溫。在 40°C（104°F）的水溫下，幾乎不會(huì)產(chǎn)生冷凝結(jié)露。水泵系統(tǒng)為 N+1 冗余，水環(huán)路的設(shè)計(jì)用于部分機(jī)架的維護(hù)。

熟悉液冷系統(tǒng)的讀者可能會(huì)注意到，我們沒(méi)有提到“CDU”。冷卻液分配單元（CDU）是一種將設(shè)施冷卻系統(tǒng)（FCS）與技術(shù)冷卻系統(tǒng)（TCS）分離的設(shè)備，后者是向機(jī)架供水。CDU 具有多種功能，例如：

確保送至機(jī)架的水具有正確的化學(xué)成分和清潔度標(biāo)準(zhǔn)。這對(duì)于許多冷板部署以及設(shè)施冷卻系統(tǒng)質(zhì)量較差的情況來(lái)說(shuō)非常重要。
在混合設(shè)施中，通過(guò)連接到冷卻水回路時(shí)，為機(jī)架提供溫水回路。
保持比設(shè)施冷卻系統(tǒng)更低的水壓，這在多級(jí)管道系統(tǒng)中尤其重要。

CDU 類似于電氣設(shè)計(jì)中的變壓器，可將以上兩個(gè)系統(tǒng)分開(kāi)以實(shí)現(xiàn)多種目的。我們的架構(gòu)中不包含冷卻液分配單元 CDU，因?yàn)槠洳季质菃螌釉O(shè)計(jì)，水回路專用于液冷系統(tǒng)，而機(jī)箱浸沒(méi)式換熱器非常堅(jiān)固耐用，可以接受市政用水的水質(zhì)。根據(jù)經(jīng)驗(yàn)，冷卻液分配單元將增加每瓦 0.10 至 0.20 美元的投資成本。

減少 UPS 和開(kāi)關(guān)設(shè)備的容量——節(jié)省 0.14 美元/瓦。無(wú)需安裝冷水機(jī)系統(tǒng)和精密空調(diào)可以減少為制冷而配備的開(kāi)關(guān)柜容量。此外，由于 IT 風(fēng)扇被微型泵代替，IT 負(fù)載用電量略有降低，因此所需的 UPS 和電池也相應(yīng)減少。

節(jié)省空間、機(jī)架和氣流遏制系統(tǒng)——節(jié)省 0.10 美元/瓦。盡管沒(méi)有壓縮 IT 白區(qū)空間，但通過(guò)減少冷卻系統(tǒng)的開(kāi)關(guān)設(shè)備和 UPS 系統(tǒng)節(jié)省了設(shè)備安裝空間。節(jié)省的費(fèi)用還包括與空間相關(guān)的其他相關(guān)成本，如滅火器、照明等。此外，液冷不需要任何氣流遏制系統(tǒng)，因此可以不考慮其投資成本。

壓縮的影響

我們?cè)诟攀霾糠痔岬?，液冷的公認(rèn)優(yōu)勢(shì)之一是能夠壓縮 IT 設(shè)備容量并節(jié)省空間。但是，除了節(jié)省空間外，這種壓縮還可以減少 IT 機(jī)架和機(jī)架 PDU 的數(shù)量。在本節(jié)中，我們計(jì)算了使用 IT 機(jī)箱浸沒(méi)式液冷時(shí)，提升 2 倍功率密度和提升 4 倍功率密度的數(shù)據(jù)中心的總投資成本，并將這些方案與我們之前所述的基準(zhǔn)功率密度 10kW 每機(jī)架的風(fēng)冷數(shù)據(jù)中心進(jìn)行了比較。

以這種壓縮為前提，表 2 列出了關(guān)于機(jī)架功率密度和機(jī)架數(shù)量的新假設(shè)。所有其他的假設(shè)與表 1 中的原始液冷方案相同。

表2 假設(shè)變量隨壓縮方案而變化

表2 假設(shè)變量隨壓縮方案而變化.jpg

提升 2 倍功率密度后的研究結(jié)論

我們首先從提升 2 倍功率密度開(kāi)始分析，這意味著液冷的每機(jī)架功率密度為 20kW，而風(fēng)冷架構(gòu)的密度為每機(jī)架 10kW。圖 6 顯示實(shí)現(xiàn) 10%的投資成本節(jié)省。

圖6風(fēng)冷數(shù)據(jù)中心與液冷數(shù)據(jù)中心的每瓦成本差異，液冷提升2倍功率密度后（每機(jī)架20kW）.jpg

▲圖 6 風(fēng)冷數(shù)據(jù)中心與液冷數(shù)據(jù)中心的每瓦成本差異，液冷提升 2倍功率密度后（每機(jī)架 20kW）

冷水機(jī)/冷凍水精密空調(diào)——$節(jié)省 0.91 美元/瓦。節(jié)省的費(fèi)用與每機(jī)架 10kW 的情況相同，并且去除了冷凍水機(jī)組和冷凍水精密空調(diào)單元。

液冷技術(shù)——成本增加 0.71 美元/瓦。與每機(jī)架 10kW 方案相比，成本增加的幅度較小。當(dāng)提高機(jī)架密度時(shí)，由于需要的機(jī)架分液器減少，因此成本得到改善。

干冷器和風(fēng)冷精密空調(diào)——成本增加 0.31 美元/瓦。這與每機(jī)架 10kW 時(shí)的情況相同，因?yàn)榭?IT 負(fù)載和相關(guān)損耗相同。

更換泵和管道——節(jié)省 0.03 美元/瓦。盡管與風(fēng)冷系統(tǒng)相比，每排機(jī)架都需要管道，但隨著 IT 空間的縮小和機(jī)架功率密度 kW 值的提升，與每機(jī)架 10kW 方案相比，所需的管道和閥門(mén)減少。請(qǐng)注意，通常管道直徑會(huì)隨著密度的增加而增加，但管道之間的價(jià)格差并不像機(jī)架數(shù)量減少那樣明顯。

減少 UPS 和開(kāi)關(guān)設(shè)備的容量——節(jié)省 0.14 美元/瓦。這與 10kW 方案相同，因?yàn)闄C(jī)架密度不會(huì)影響 UPS 和開(kāi)關(guān)柜的容量。

節(jié)省空間、機(jī)架和氣流遏制系統(tǒng)——節(jié)省 0.63 美元/瓦。節(jié)省的大量成本包括建筑圍護(hù)結(jié)構(gòu)的節(jié)省、機(jī)架和機(jī)架 PDU 數(shù)量的減少以及機(jī)架上用于支持布線的結(jié)構(gòu)的減少。由于減少了 IT 空間，也節(jié)省了消防和照明相關(guān)成本。

提升 4 倍功率密度的研究結(jié)論

接下來(lái)我們比較一下提升 4 倍功率密度后的液冷架構(gòu)的成本，即每機(jī)架 40kW，而風(fēng)冷為每機(jī)架 10kW。隨著功率密度的增加，投資成本的節(jié)省幅度也隨之增加。圖 7 顯示實(shí)現(xiàn) 14%的投資支出節(jié)省。

圖7風(fēng)冷數(shù)據(jù)中心與液冷數(shù)據(jù)中心的每瓦成本差異，液冷提升4倍功率密度后（每機(jī)架40kW）.jpg

▲圖7 風(fēng)冷數(shù)據(jù)中心與液冷數(shù)據(jù)中心的每瓦成本差異，液冷提升 4倍功率密度后（每機(jī)架 40kW）

通過(guò)進(jìn)一步壓縮實(shí)現(xiàn)的大部分節(jié)省來(lái)自兩個(gè)領(lǐng)域。機(jī)架級(jí)液冷設(shè)備的成本更低，而 IT空間縮小也降低了相關(guān)成本。

冷水機(jī)/冷凍水精密空調(diào)——$節(jié)省 0.91 美元/瓦。節(jié)省的額度與每機(jī)架 10kW 和每機(jī)架20kW 的方案相同，并且去除了冷凍水機(jī)組和冷凍水精密空調(diào)裝置。

液冷技術(shù)——成本增加 0.68 美元/瓦。與每機(jī)架 20kW 方案相比，成本增加的幅度較小。當(dāng)增加機(jī)架功率密度時(shí)，此成本有所改善。需要的機(jī)架分液器減少，從而降低了這個(gè)類別的每瓦總成本。

干冷器和風(fēng)冷精密空調(diào)——成本增加 0.31 美元/瓦。這與每機(jī)架 10kW 和每機(jī)架 20kW的情況相同，因?yàn)榭?IT 負(fù)載和相關(guān)的損耗完全相同。

更換泵和管道——節(jié)省$ 0.04/瓦。與每機(jī)架 20kW 方案相比，節(jié)省幅度略有上升，因?yàn)?IT 空間的減少，因此需要供水的機(jī)架減少。

減少 UPS 和開(kāi)關(guān)設(shè)備的容量——節(jié)省 0.14 美元/瓦。這與每機(jī)架 10kW 和每機(jī)架20kW 案例相同。

節(jié)省空間、機(jī)架和氣流遏制系統(tǒng)——節(jié)省 0.90 美元/瓦。與 20kW/機(jī)架的設(shè)計(jì)相比，額外節(jié)省 0.27 美元/瓦。節(jié)省的大量成本包括建筑圍護(hù)結(jié)構(gòu)的節(jié)省、機(jī)架和機(jī)架 PDU 的減少以及機(jī)架上用于支持布線的結(jié)構(gòu)的減少。由于 IT 空間的縮小，也節(jié)省了消防和照明相關(guān)的成本。

結(jié)論

液冷已經(jīng)存在了很多年，但最近卻被越來(lái)越多的主流數(shù)據(jù)中心應(yīng)用所采用。盡管這種模式在節(jié)能方面優(yōu)勢(shì)明顯，但有些人仍擔(dān)心其投資成本。本文分析了在采用相同的機(jī)架密度時(shí)，部署基于 IT 機(jī)箱的浸沒(méi)式液冷的投資成本與風(fēng)冷系統(tǒng)大致相同，并且在將 IT 設(shè)備（以及機(jī)架）提升四倍功率密度時(shí)可以節(jié)省多達(dá) 14%的成本。

盡管基于 IT 機(jī)箱的浸沒(méi)式液冷還不是一項(xiàng)成熟的技術(shù)，但這些成本優(yōu)勢(shì)預(yù)示著近期會(huì)出現(xiàn)大規(guī)模部署的趨勢(shì)。隨著液冷技術(shù)和制造效率的改進(jìn)，可以預(yù)見(jiàn)，這種模式還會(huì)進(jìn)一步節(jié)省成本。

附錄

圖紙

附錄包含用作成本分析依據(jù)的總體平面圖和管道圖。由于頁(yè)面太小，很難看清圖紙的細(xì)節(jié)信息，如果您對(duì)原始圖紙文件感興趣，請(qǐng)隨時(shí)與我們聯(lián)系。

提供的平面圖包括：