浸沒液冷機(jī)柜結(jié)構(gòu)由哪幾部分組成？
如果按照形態(tài)來分：液冷機(jī)柜分成了臥式機(jī)柜和異構(gòu)式。
由于超算通常采用的是異構(gòu)形態(tài)的服務(wù)器，因而機(jī)柜采用了定制化的解決方案，如上述中科超算中心來自于同集團(tuán)的中科曙光，由中科曙光提供服務(wù)器，曙光數(shù)創(chuàng)提供基于系統(tǒng)（包含機(jī)柜）和部署服務(wù)。
浸沒液冷機(jī)柜結(jié)構(gòu)由哪幾部分組成？
故此，不妨以更具普適性，更具規(guī)模體量部署前景，更具典型性的單相液冷臥式機(jī)柜式架構(gòu)，作為浸沒液冷機(jī)柜（Tank）的剖析基礎(chǔ)，穿插相變液冷的獨(dú)特單元或功能模塊的說明。
整個浸沒液冷機(jī)柜（系統(tǒng)），大體可以分為以下幾個組成部分：
一、主機(jī)柜柜體
如果把豎著的Rack理解為冰箱，那么倒下來的Tank就是機(jī)柜。典型的機(jī)架式服務(wù)器，以不同于Rack的橫置，而改為豎直部署。
正常來說，服務(wù)器的維護(hù)面朝上，電源面在下。但這樣的問題是，服務(wù)器進(jìn)出機(jī)柜，電源線的插拔，都異常困難。對調(diào)過來，顯然維護(hù)調(diào)試又是問題。因此浸沒液冷服務(wù)器，需要重新優(yōu)化，實(shí)現(xiàn)同側(cè)（頂面）維護(hù)，底面只負(fù)責(zé)輸送冷液。如阿里在《ODCC浸沒液冷規(guī)范》所列出的：
假如部署體量，不足以進(jìn)行高度定制，需要對標(biāo)準(zhǔn)的機(jī)架式服務(wù)器進(jìn)行改造，實(shí)現(xiàn)同側(cè)運(yùn)維及電氣連接。
通常的做法是，管里面朝上，電源至于底端，但是被轉(zhuǎn)接到上部。如下圖所示的轉(zhuǎn)接方式：
柜體的大小，按照通常的要求是參考Rack尺寸定義，即長度為42U-54U之間；高度取決于服務(wù)器尺寸三圍中的長度數(shù)據(jù)，通常以800mm為標(biāo)準(zhǔn)的話，會增加額外的400-500mm用于線纜轉(zhuǎn)接口、進(jìn)液和出液口、固定結(jié)構(gòu)等；Tank的深度，以19英寸或21寸服務(wù)器的寬度為基礎(chǔ)，增加300-400mm。
Tank高度示意圖
因而Tank的尺寸通常為：
長：2200-2800mm
寬（深）：850-1200mm
高：1100-1350mm
典型52U浸沒液冷Tank參考尺寸如下：
A類標(biāo)準(zhǔn)單機(jī)柜布局示意圖
柜體材料，采用常規(guī)304，兩面焊接，并作保壓測試，根據(jù)尺寸大小，和冷媒種類，選擇不同的材料厚度，以及密封材料。
主機(jī)柜通常會采用包含可視視窗的上蓋，一方面用于可是觀察，一方面也可減輕采用全金屬上蓋的重量。在單相架構(gòu)中，多采用鎖扣鉸鏈做密封緊固。相變架構(gòu)，則需要法蘭式密封機(jī)構(gòu)。
單相架構(gòu)密封機(jī)制示意圖
相變架構(gòu)密封機(jī)制示意圖
問題與思考：
針對19英寸和21英寸的兼容性要求，需要機(jī)柜需要一定的靈活度
通常采用冷液下進(jìn)，熱液上出的方式。電源從下至上調(diào)整后，電源處在相對溫度最高的區(qū)域。應(yīng)當(dāng)注意適當(dāng)?shù)倪x型，并設(shè)定合理的冷卻條件。
Tank底部應(yīng)針對IT設(shè)備的流道分配設(shè)計(jì)和優(yōu)化，以確保冷液進(jìn)入Tank后，把有限的揚(yáng)程和流量，優(yōu)先給予發(fā)熱器件，并盡量減少壓降損失，直至回液給CDU。
二、配電柜
配電柜通常依附于主機(jī)柜，也可列裝部署于機(jī)房一側(cè)。區(qū)別于動力柜單元，配電柜通常采用1對1的架構(gòu)，內(nèi)置PLC和控制器。
因主體功能不同，又分為2個部分。既負(fù)責(zé)高壓電氣部分的連通或短路控制，也負(fù)責(zé)傳感器數(shù)據(jù)采集、控制和負(fù)載設(shè)備的供電管理。
問題與思考：
機(jī)柜的配電柜，也可以理解為控制柜。提供Tank自身及內(nèi)置IT設(shè)備的電力輸入通道，不提供CDU的動力源。但需要收集CDU的傳感器數(shù)據(jù)。
能夠接入機(jī)房的大動環(huán)
三、換熱單元
這部分就是本文初定義的CDU，也是核心換熱單元。其中主要器件為循環(huán)泵和板式換熱器，輔以必要的閥門、管路、傳感器。
基本的換熱效能，固然經(jīng)過嚴(yán)格的傳熱仿真計(jì)算。除此之外，為了進(jìn)一步降低PUE，在低負(fù)載的情況下，通常會通過變頻器控制泵的轉(zhuǎn)速和流量，進(jìn)一步節(jié)約能耗。
為滿足A/B/C不同等級的需要，主機(jī)柜跟CDU的配比，可以選擇1+2、1+1或N+1的不同組合方式。通過預(yù)設(shè)的邏輯控制程序，可以停止、調(diào)換不同的應(yīng)急、冗余泵組。
在CDU的布局空間中，通常還會在管路上設(shè)置旁路過濾系統(tǒng)，主要處理3種目標(biāo)過濾對象，分別為水汽（液態(tài)）、雜質(zhì)、塑化劑等有機(jī)物。根據(jù)過濾對象的不同，選擇不同的濾芯，并設(shè)定合理的監(jiān)測手段（如壓降監(jiān)測），實(shí)現(xiàn)人工或自動的過濾啟動及替換機(jī)制。
CDU的供電來自于獨(dú)立的暖通系統(tǒng)供電，獨(dú)立于設(shè)備主機(jī)，也不接入UPS。
問題與思考：
相比于對標(biāo)準(zhǔn)品CDU的改造，定制化的CDU更適合系統(tǒng)的整體架構(gòu)
如果選用油類物質(zhì)作為冷媒，油泵的選型主要考慮安全性和噪音指標(biāo)；采用氟化物為冷媒，主要考慮泄露密封情況
考慮到運(yùn)維的便捷，相變架構(gòu)案例中，有不少采用的是分體式設(shè)計(jì)，如曙光的“硅立方”解決方案，蒸汽從刀片組集中到CDU進(jìn)行集中冷凝，再回流并分配至各個刀片。CDU內(nèi)置集群冷凝器，用于冷媒蒸汽的冷凝。冷凝器的內(nèi)部供水依然來自外部冷卻塔。此時的難點(diǎn)，將是如何控制并分配到各個刀片的流量。過快造成刀片堵塞氣路，影響蒸汽排出；過慢液位持續(xù)下降，燒毀器件。如果刀片內(nèi)計(jì)算節(jié)點(diǎn)的負(fù)載發(fā)生變化，情況會更復(fù)雜。
減少有機(jī)物的污染，是確保冷媒（無論油還是氟化物）長期穩(wěn)定運(yùn)行的關(guān)鍵。CDU的過濾系統(tǒng)，起到了至關(guān)重要的作用。由于設(shè)備端材料成分的復(fù)雜性，針對可能析出的不同有機(jī)物的吸附，需要根據(jù)實(shí)際情況，反復(fù)實(shí)驗(yàn)。但這類濾芯的有效性實(shí)時監(jiān)測會很困難，因而通常是模擬測試并設(shè)定額定的維保周期。
四、電氣連接
存在著兩種典型的電氣連接處理方式，PDU位于主機(jī)柜內(nèi)，液面之上；或PDU位于主機(jī)柜背后，根據(jù)IT設(shè)備的電氣性能要求，選用適配的穿壁連接器。
一般盡量不采用單純的格蘭頭作為線束穿壁連接，其密封性無法滿足密封要求，哪怕是單相架構(gòu)中，高沸點(diǎn)的冷媒。也會在長期高溫（50℃±5℃）下，揮發(fā)出氣態(tài)冷媒，其飽和蒸汽壓會驅(qū)動其他從穿壁處滲漏。如選用格蘭頭，應(yīng)當(dāng)達(dá)到氣密級別。
問題與思考：
市電和高壓直流供電，有時同時被需要。因此要根據(jù)情況，預(yù)留足夠的接口空間。
由于無法實(shí)現(xiàn)全銅排連接，電纜的使用要特別主要避免采用PVC材質(zhì)的線纜皮，并且需選擇不含塑化劑的材料。塑化劑容易被萃取，因而造成線纜的硬化，長期運(yùn)維操作，可能導(dǎo)致潑皮、短路。
五、弱電連接
服務(wù)器和交換機(jī)需要應(yīng)對的弱電轉(zhuǎn)接，主要是光纖（或RJ45），VGA（或HDMI），USB這3類。同樣的原則都是需要采用氣密性的穿壁連接器作為中轉(zhuǎn)連接器，而非線纜式直接走格蘭頭收緊。
問題與思考：
處理光纖的主要手段是穿壁式Pigtail連接。適合運(yùn)維。
針對高速傳輸要求的數(shù)據(jù)接口，需要注意連接器的選型適配。
各種傳感器數(shù)據(jù)，也需要密封轉(zhuǎn)接進(jìn)出，可以考慮采用集成式的控制板，或者無線傳輸。
六、壓力控制
在5.4.3條目中，已經(jīng)有說明。即使是單相架構(gòu)中，并沒有利用冷媒的兩相態(tài)換熱。但是依然有持續(xù)的液態(tài)冷媒氣化的過程，在沒有達(dá)到飽和蒸汽壓之前，Tank內(nèi)部始終處于對外的持續(xù)壓力增加狀態(tài)。因而需要做一定的壓力控制。
單相架構(gòu)的壓力控制，主要是密封結(jié)構(gòu)為主的結(jié)構(gòu)壓力控制。設(shè)定一定的承壓點(diǎn)作為設(shè)計(jì)基礎(chǔ)。
問題與思考：
相變架構(gòu)比較復(fù)雜。既有機(jī)械結(jié)構(gòu)上的密封控制，又要做后臺軟件上的壓力控制。從部件看，既有法蘭密封結(jié)構(gòu)，又有電磁閥和泄壓機(jī)構(gòu)。既要滿足正常運(yùn)行中的承壓，又需要在系統(tǒng)運(yùn)行中出現(xiàn)意外失效（失控）后，壓力的主動釋放，以保護(hù)柜體和元器件。持續(xù)的壓力增加，會急速拉升冷媒的沸點(diǎn)，如果保護(hù)斷電機(jī)制和急速制冷機(jī)制沒有生效，不做主動壓力釋放，將引起元器件的大批量燒毀。
要注意的是機(jī)柜斷電后，由于負(fù)載還存在余熱，CDU通常會持續(xù)運(yùn)轉(zhuǎn)一段時間，直至完全冷卻。這個過程，應(yīng)注意保持負(fù)壓閥的開啟。
從壓力控制的角度來看，曙光“硅立方”是目前做到比較好的解決方案。CDU集中冷卻并控制壓力。刀片獨(dú)立實(shí)現(xiàn)，通過快接連接器，液進(jìn)氣出，運(yùn)維過程不影響CDU的整體平衡。
七、總控系統(tǒng)
控制系統(tǒng)的數(shù)據(jù)來自于傳感器的數(shù)據(jù)反饋，通過PLC進(jìn)行收集及模數(shù)轉(zhuǎn)換，做出預(yù)設(shè)策略下的系統(tǒng)狀態(tài)判斷，并實(shí)施干預(yù)和控制。
包含并不限于以下傳感器：
溫度傳感器
數(shù)字式壓力計(jì)
浮球感應(yīng)器
電導(dǎo)率傳感器
流量計(jì)
八、冷量自動調(diào)節(jié)
冷量根據(jù)液體溫度來調(diào)節(jié)，滿足負(fù)載工況波動下的最優(yōu)配置。
九、安全告警功能
溫度過高警報
液位過低警報
壓力過低警報
電導(dǎo)率異常警報
漏液警報等等
十、主動控制策略
超溫主動宕機(jī)
液位過低宕機(jī)
強(qiáng)制過濾
開啟備用CDU（泵組）
問題與思考：
實(shí)際上，基于以上硬件及軟件上的總控架構(gòu)，配合一次側(cè)的數(shù)據(jù)采集，以及必要的泄露檢測機(jī)制，這已經(jīng)肩負(fù)了傳統(tǒng)風(fēng)冷機(jī)房中動環(huán)系統(tǒng)的很大一部分工作。這也是液冷機(jī)柜最大的特點(diǎn)之一。
其他組件
在大機(jī)柜系統(tǒng)范圍內(nèi)，配合運(yùn)維所需要的部件和工裝，亦應(yīng)當(dāng)被納入。比如，補(bǔ)液系統(tǒng)，行吊系統(tǒng)。
十一、補(bǔ)液系統(tǒng)
由于運(yùn)維的需要，部件的更換，以及系統(tǒng)級密封存在的長期微滲透，無論單相還是相變架構(gòu)，都需要定制給機(jī)柜進(jìn)行適當(dāng)?shù)睦涿窖a(bǔ)充。
另外，在長期停機(jī)檢修階段，機(jī)柜內(nèi)的液體，也需要全部抽出來進(jìn)行密封保存。
因而有了補(bǔ)液系統(tǒng)的存在。抽補(bǔ)液的過程，可以進(jìn)行手動，也可以進(jìn)行自動控制。補(bǔ)液系統(tǒng)，以可充電移動車的形態(tài)存在，內(nèi)置過濾和壓力平衡裝置。能夠?qū)崿F(xiàn)跟機(jī)柜的無縫對接，并實(shí)施抽補(bǔ)液動作。
十二、行吊系統(tǒng)
液冷部署，如果采用非異構(gòu)形態(tài)，而是普通的臥式Tank狀態(tài)，服務(wù)器的垂直進(jìn)出機(jī)柜、取放、運(yùn)維，都將是兼具的任務(wù)。相比于風(fēng)冷的橫置狀態(tài)，會更加艱難。
典型數(shù)據(jù)是，1U服務(wù)器的平均重量為18.5kg，2U為43kg，4U要超過65kg。這個重量，要確保設(shè)備垂直形態(tài)下，高出1米2-1米3的機(jī)柜上蓋而提出。幾乎是單人不可能完成的任務(wù)。而且一旦控制不穩(wěn)，發(fā)生撞擊，勢必造成非常嚴(yán)重的后果。
行吊系統(tǒng)，顧名思義，可以通過機(jī)械吊臂，輔助人工操作，減輕操作難度，降低操作風(fēng)險。因布置位置的不同，可以是單獨(dú)的行吊車，也可以集成于機(jī)柜內(nèi)部。
下面是幾種行吊系統(tǒng)典型案例：
移動行車
內(nèi)置隱藏式抬升
外置式折疊吊臂
本文標(biāo)題：浸沒液冷機(jī)柜結(jié)構(gòu)由哪幾部分組成？
本文鏈接：http://www.yangziriver.cn/faq3/151.html [版權(quán)聲明]除非特別標(biāo)注，否則均為本站原創(chuàng)文章，轉(zhuǎn)載時請以鏈接形式注明文章出處。
