深度學習 | 東數(shù)西算| 液冷散熱
數(shù)據(jù)挖掘 | 數(shù)據(jù)分析| 高性能計算
隨著深度學習、東數(shù)西算、醫(yī)藥研發(fā)、數(shù)據(jù)分析、數(shù)據(jù)挖掘、遙感測繪、高性能計算等技術(shù)的快速發(fā)展,數(shù)據(jù)中心的創(chuàng)建與日俱增,傳統(tǒng)的風冷散熱方式已經(jīng)不同滿足數(shù)據(jù)中心散熱的需求,冷板式液冷散熱逐漸出現(xiàn)在人們的視線中。
注:由于篇幅有限需要更多詳細資料,請在公眾號末尾留下您的郵箱,小編會將PDF文件發(fā)您郵箱,共同進步。
氣候變化正給人類生產(chǎn)生活帶來日益嚴峻的挑戰(zhàn)。為在促進經(jīng)濟繁榮的同時保護地球,聯(lián)合國制定了2030可持續(xù)發(fā)展目標,將降低能源碳強度,采取緊急行動應(yīng)對氣候變化及其影響作為重要內(nèi)容,推動全球各國提供更多資源和更明智的解決方案。2021年底發(fā)布的《第五屆聯(lián)合國環(huán)境大會續(xù)會的部長級宣言草案》再次強調(diào),推動綠色轉(zhuǎn)型,減少碳和非碳溫室氣體排放,實現(xiàn)可持續(xù)發(fā)展目標。
中國高度重視落實聯(lián)合國 2030 年可持續(xù)發(fā)展議程,并基于推動實現(xiàn)可持續(xù)發(fā)展的內(nèi)在要求,將生態(tài)文明建設(shè)明確為國家戰(zhàn)略,宣布了“碳達峰”和“碳中和”目標,讓綠色低碳成為各行業(yè)轉(zhuǎn)型升級和實現(xiàn)高質(zhì)量發(fā)展的重要方向。在全球落實可持續(xù)發(fā)展行動,中國積極推進生態(tài)文明建設(shè)的進程中,5G、人工智能、物聯(lián)網(wǎng)等新技術(shù)的快速普及應(yīng)用,在為各行各業(yè)高質(zhì)量發(fā)展提供前所未有新動能的同時,也讓作為新型基礎(chǔ)設(shè)施的數(shù)據(jù)中心規(guī)模不斷擴大,能耗持續(xù)高速增長。據(jù)相關(guān)估算,全國各類型數(shù)據(jù)中心用電量總和已約占全社會用電量的1.5%-2%左右,且機柜規(guī)模仍保持高速增長態(tài)勢。參照美國勞倫斯伯克利實驗室對美國數(shù)據(jù)中心產(chǎn)業(yè)發(fā)展相關(guān)研究估算,在不采取相關(guān)措施的情況下,數(shù)據(jù)中心總用電量有可能翻倍甚至更高。
面對不斷增長的能源消耗與經(jīng)濟社會可持續(xù)發(fā)展的雙重壓力,加速數(shù)據(jù)中心運營模式的綠色轉(zhuǎn)型成為當務(wù)之急。2021年5月,國家發(fā)改委等四部委聯(lián)合發(fā)布《全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實施方案》,將綠色低碳列為基本原則,強調(diào)通過創(chuàng)新技術(shù)全面提高其能源利用效率;同年7月,工信部印發(fā)《新型數(shù)據(jù)中心發(fā)展三年行動計劃(2021-2023年)》,明確提出新建大型及以上數(shù)據(jù)中心電能利用效率(Power UsageEffffectiveness,PUE)降低到1.3以下。2022年1月,國務(wù)院印發(fā)“十四五”數(shù)字經(jīng)濟發(fā)展規(guī)劃,隨后國家發(fā)展改革委會同相關(guān)部門推進“東數(shù)西算”工程實施,強化數(shù)據(jù)中心綠色發(fā)展要求,強調(diào)大型、超大型數(shù)據(jù)中心PUE降到1.3以下,并在給多個算力網(wǎng)絡(luò)國家樞紐節(jié)點啟動的復(fù)函中,都將PUE指標控制在1.25以內(nèi)。
在政策拉動以及數(shù)據(jù)中心降本增效等自身需求的驅(qū)動下,整個 ICT 產(chǎn)業(yè)積極采用創(chuàng)新技術(shù)和模式,圍繞降低PUE這一關(guān)鍵指標,通過推進基礎(chǔ)設(shè)施智能化、創(chuàng)新和采用制冷散熱技術(shù),以及提升能效與供電密度等系統(tǒng)化措施和多元化的技術(shù)與解決方案,綜合性地創(chuàng)新數(shù)據(jù)中心高效節(jié)能體系,推動數(shù)據(jù)中心全生命周期降耗增效。
深度學習冷板式液冷解決方案
眾冷板液冷生態(tài)伙伴以“創(chuàng)造改變世界的技術(shù),改善地球上每個人的生活”為宏旨,在不遺余力地通過將可持續(xù)納入產(chǎn)品設(shè)計、生產(chǎn)、使用全生命周期,系統(tǒng)化減少碳足跡的同時,聚力攜手更廣泛的產(chǎn)業(yè)伙伴開放創(chuàng)新,基于在數(shù)據(jù)中心可持續(xù)發(fā)展上構(gòu)建起的完備解決方案矩陣,重點聚焦的數(shù)據(jù)中心機架電源設(shè)計、先進冷卻技術(shù)和數(shù)據(jù)中心智能節(jié)能三個垂直領(lǐng)域,充分應(yīng)用芯片、服務(wù)器、機架、數(shù)據(jù)中心四個水平方向的技術(shù)方案和豐富案例,繼續(xù)深入實踐,全方位、立體化推動數(shù)據(jù)中心不斷實現(xiàn)能效優(yōu)化和低碳轉(zhuǎn)型。同時,還將繼續(xù)與各界伙伴協(xié)同推進數(shù)據(jù)中心功率密度演進、液冷技術(shù)應(yīng)用與設(shè)計等標準和規(guī)范建設(shè),助力構(gòu)建長效機制,引導數(shù)據(jù)中心加速邁向高效、清潔、集約、循環(huán)的綠色發(fā)展新紀元。
由英特爾推出的《綠色數(shù)據(jù)中心創(chuàng)新實踐——冷板液冷系統(tǒng)設(shè)計參考》是產(chǎn)業(yè)生態(tài)伙伴緊密合作、聯(lián)合創(chuàng)新的重要成果之一,內(nèi)容涵蓋液冷一次側(cè)及二次側(cè)整個鏈路的設(shè)計,旨在與冷板液冷生態(tài)伙伴及潛在使用者分享對于冷板液冷技術(shù)關(guān)鍵部件設(shè)計選型的考量,其付梓發(fā)布也是要通過面向更廣泛的產(chǎn)業(yè)伙伴展現(xiàn)冷板液冷技術(shù)關(guān)鍵部件的研究進展,來共同促其標準化,進而降低其設(shè)計與使用成本,推動建立并完善冷板液冷的生態(tài)系統(tǒng),為推進數(shù)據(jù)中心行業(yè)加速脫碳轉(zhuǎn)型,并以此支持各行各業(yè)實現(xiàn)低碳發(fā)展,共同為中國實現(xiàn)碳達峰、碳中和目標而做出新的貢獻。
本文對參與冷板散熱系統(tǒng)設(shè)計、驗證、管路的連接組裝、系統(tǒng)的檢測及維護人員均具有參考意義。
冷板式液冷整體鏈路圖
數(shù)據(jù)中心發(fā)展趨勢
隨著云計算、大數(shù)據(jù)、人工智能等新一代信息技術(shù)快速發(fā)展,數(shù)據(jù)呈現(xiàn)爆炸式增長。作為儲存和計算基礎(chǔ)設(shè)施的數(shù)據(jù)中心加速建設(shè)是大勢所趨。
一、數(shù)據(jù)中心總體能耗不斷抬升
隨著數(shù)字經(jīng)濟在人類活動中的占比逐漸增加,信息數(shù)據(jù)量激增,與之對應(yīng)的數(shù)據(jù)分析、處理能力不斷提升,使得服務(wù)器的密度越來越高,導致數(shù)據(jù)中心產(chǎn)生熱量日益增多。據(jù)行業(yè)數(shù)據(jù)報告顯示,預(yù)計未來5年,其仍將以15%~20%的速率持續(xù)增長,也將使未來數(shù)據(jù)中心行業(yè)用電占社會總用電量的比率進一步提升。
作為“新基建”的引領(lǐng)行業(yè),數(shù)據(jù)中心是以技術(shù)創(chuàng)新為驅(qū)動和信息網(wǎng)絡(luò)為基礎(chǔ)的高質(zhì)量發(fā)展行業(yè),在為社會和工業(yè)的數(shù)字轉(zhuǎn)型、智能升級、融合創(chuàng)新等服務(wù)提供基礎(chǔ)設(shè)施體系的同時,快速增加的能源消耗也帶來熱點地區(qū)局部能源的稀缺和地域之間的不均衡。在北上廣這些核心地區(qū),很多潛在項目面臨有房無電的窘境。因此,作為單體能源消耗密度高的行業(yè),數(shù)據(jù)中心必須以綠色低碳、節(jié)能減排來應(yīng)對快速發(fā)展帶來的挑戰(zhàn),才能實現(xiàn)健康可持續(xù)發(fā)展。
根據(jù)相關(guān)國家政策要求,在未來布局的算力樞紐 8 大節(jié)點中,東部數(shù)據(jù)中心PUE需要降低到1.25以下(包括華南地區(qū)),西部地區(qū)的數(shù)據(jù)中心PUE要求在1.2以下,且要求制冷系統(tǒng)采取新的解決方案。
二、功率密度隨需求不斷提高
近年來,數(shù)據(jù)中心單位空間產(chǎn)生熱量的瓦數(shù)正在不斷上升,同時功率密度也在增加,嚴重制約了傳統(tǒng)冷卻方法和技術(shù)的進一步應(yīng)用和推廣。因此,液冷作為數(shù)據(jù)中心新興的制冷技術(shù),逐漸被人們接納并應(yīng)用。
Uptime Institute發(fā)布的《2020全球數(shù)據(jù)中心調(diào)查報告》顯示,2020年全球71%的數(shù)據(jù)中心平均功率密度低于10kW /機架,最常見是5~9kW /機架,平均單機架功率為8.4kW /機架,平均功率密度高于20kW /機架的數(shù)據(jù)中心約占16%。雖然整體功率密度相較于高性能計算(HPC)等領(lǐng)域還不算高,但總體上升趨勢明顯,相比于2017年的5.6kW /機架、2011年的2.4 kW /機架增長顯著。而且宏觀上看,數(shù)據(jù)中心未來的功率密度還將繼續(xù)上升。
造成這一趨勢的原因主要有兩個方面。一是從應(yīng)用層面來看,計算密集型應(yīng)用場景的激增,加上云業(yè)務(wù)廣為互聯(lián)網(wǎng)頭部企業(yè)采用,導致承載這些應(yīng)用負載的服務(wù)器設(shè)備功耗大幅增加,進而使得數(shù)據(jù)中心設(shè)計功率密度呈現(xiàn)逐年增大的趨勢。另外一個原因來自IT硬件層面。為了滿足高算力負載需求,通過單機架疊加多核處理器提高計算密度,導致了IT硬件的處理器功耗顯著增加,也使得單機架功率密度越來越高。比如,從當前占據(jù)全球服務(wù)器CPU主要市場的英特爾?架構(gòu)處理器看,英特爾?至強?可擴展處理器TDP(熱設(shè)計功耗)從2019年的205W上升了到達現(xiàn)在的270W,在2023年初將達到350W,提升近一倍。而這在提供強大算力的同時無疑也帶來散熱困擾,而解決了散熱瓶頸就意味著實現(xiàn)算力提升。
數(shù)據(jù)中心液冷散熱解決方案
采用風冷的數(shù)據(jù)中心通常可以解決 12kW 以內(nèi)的機柜制冷。隨著服務(wù)器單位功耗增大,原先尺寸的普通服務(wù)器機柜可容納的服務(wù)器功率往往超過 15kW,相對于現(xiàn)有的風冷數(shù)據(jù)中心,這已經(jīng)到了空氣對流散熱能力的天花板。而液冷技術(shù)作為一種散熱能力更強的技術(shù),可以支持更高的功率密度。
一、液冷的優(yōu)勢
1、滿足高功率密度機柜的散熱需求。液冷的高效制冷效果有效提升了服務(wù)器的使用效率和穩(wěn)定性,同時可使數(shù)據(jù)中心在單位空間布置更多的服務(wù)器,提高數(shù)據(jù)中心使用效率;
2、循環(huán)系統(tǒng)耗能少,系統(tǒng)噪音小。使用高比熱的液體工質(zhì),冷卻工質(zhì)循環(huán)能耗少,且液冷簡化了換熱流程,也減小了風冷末端在房間輸送冷風過程中受湍流影響所致的部分能量衰減的問題;
3、占地小,易于選址。使用液冷系統(tǒng)的數(shù)據(jù)中心相對于傳統(tǒng)的風冷數(shù)據(jù)中心更加簡單,去掉了龐大的末端空調(diào)系統(tǒng),提高了建筑利用率,在小空間里也能布置足夠規(guī)模的服務(wù)器,應(yīng)用場景更易布置,受地理位置影響較小,全國布局皆可實現(xiàn)低PUE運行;
4、降低 TCO,運營 PUE 較低,全年 PUE 可達到 1.2 以下。采用液冷散熱方案的數(shù)據(jù)中心PUE比采用風冷的常規(guī)冷凍水系統(tǒng)降低0.15以上,可讓有限的能源更多分配給算力,從而降低運行成本,增加算力產(chǎn)出;
5、余熱回收易實現(xiàn)。相比傳統(tǒng)水溫,使用液冷方案的水溫更高,溫差大,熱源品味和余熱系統(tǒng)效率高;
6、適應(yīng)性強。冷板式液冷兼容性強,易配套開發(fā),不需改變原有形態(tài)和設(shè)備材料;空間利用率高,可維護性強,布置條件與普通機房相近,可直接與原制冷系統(tǒng)(常規(guī)冷凍水系統(tǒng))兼容適應(yīng)。
基于冷板液冷解決方案的一次側(cè)系統(tǒng)
對于液冷二次側(cè)末端不同的水溫需求,液冷一次側(cè)冷源可采用機械制冷系統(tǒng)和自然冷卻系統(tǒng)。機械制冷系統(tǒng)包括風冷冷凍水系統(tǒng)和水冷冷凍水系統(tǒng),可提供 12℃-18℃ 的中溫冷凍水;自然冷卻是在室外氣象條件允許的情況下,利用室外空氣的冷量而不需機械制冷的冷卻過程,自然冷卻系統(tǒng)可采用開式冷卻塔、閉式冷卻塔和干冷器等設(shè)備實現(xiàn),可提供 30℃ 以上的冷卻水。液冷一次側(cè)冷源形式需結(jié)合二次側(cè)末端水溫需求和項目地室外環(huán)境情況確定。
一、機械制冷系統(tǒng)
1、風冷冷凍水系統(tǒng)
風冷冷凍水系統(tǒng)是冷凍水制備的一種方式,主要由風冷冷水機組、冷凍水泵及配套設(shè)施組成,其液態(tài)制冷劑在其蒸發(fā)器盤管內(nèi)直接蒸發(fā),實現(xiàn)對盤管外的冷凍水吸熱而制冷,并通過風冷的方式冷卻為液態(tài)。
風冷冷凍水系統(tǒng)不需要占用專門的機房且無需安裝冷卻塔及泵房,初期成本投入較低、運行方便,不需要專業(yè)人員維護,無冷卻水系統(tǒng),具備節(jié)水和降低維護費用等優(yōu)點。但風冷冷水機組一般裝在室外,運維環(huán)境相對較為惡劣,維護性及可靠性均不如水冷冷水機組,并且風冷機組在夏季高溫制冷效果較差,運行效率較低。
2、水冷冷凍水系統(tǒng)
水冷冷凍水系統(tǒng)是冷凍水制備的一種方式,主要由水冷冷水機組、冷凍水泵、冷卻水泵、冷卻塔及配套設(shè)施組成,其液態(tài)制冷劑在蒸發(fā)器盤管內(nèi)直接蒸發(fā),實現(xiàn)對盤管外的冷凍水吸熱而制冷,并通過水冷的方式冷卻為液態(tài)。
水冷冷凍水系統(tǒng)具有耗電量較低、全年制冷效果好、可靠性高和使用壽命長的優(yōu)點。但其需要專用機房、冷卻塔、冷卻水泵、冷凍水泵等設(shè)備,初投資較大,并且需要循環(huán)水,水資源消耗大,且機組本體和冷卻設(shè)施需要維護,相較于風冷機組,其維護費用比較高。
二、自然冷卻系統(tǒng)
1、開式冷卻塔
開式冷卻塔經(jīng)過將循環(huán)冷卻水直接噴淋到冷卻塔填料上,同時由風機帶動冷卻塔內(nèi)氣流流動,通過室外空氣與冷卻水之間的熱質(zhì)交換蒸發(fā)冷卻循環(huán)水,冷卻后的循環(huán)水在冷卻塔底部出水。開式冷卻塔中循環(huán)冷卻水與室外空氣存在熱質(zhì)交換。
開式冷卻塔示意圖
開式冷卻塔初投資和運行成本均較低,占地面積較小,重量較輕,但其運行水質(zhì)較差,易引起被冷卻換熱器結(jié)垢,適用于室外空氣品質(zhì)較好的區(qū)域。另外,雖然可增設(shè)一級板式換熱器和冷卻水泵來避免核心換熱器結(jié)垢,但對應(yīng)系統(tǒng)較為復(fù)雜,初投資提升。
2、閉式冷卻塔
閉式冷卻塔是將管式換熱器置于塔內(nèi),通過室外流通的空氣、噴淋水與管內(nèi)的循環(huán)冷卻水進行熱交換而實現(xiàn)向大氣散熱的設(shè)備。閉式冷卻塔有內(nèi)循環(huán)和外循環(huán)兩個系統(tǒng),其內(nèi)循環(huán)通過與被冷卻設(shè)備對接,構(gòu)成一個封閉式系統(tǒng),將系統(tǒng)熱量帶到冷卻塔,也即內(nèi)循環(huán)水通過換熱盤管將熱量傳遞到大氣中;外循環(huán)由循環(huán)噴淋泵,布水系統(tǒng)、集水盤及管路組成,外循環(huán)水不與內(nèi)循環(huán)水相接觸,只是通過冷卻塔內(nèi)的換熱器吸收內(nèi)循環(huán)水的熱量,然后通過和空氣直接接觸來散熱。
閉式冷卻塔示意圖
閉式冷卻塔的水質(zhì)較好,被冷卻換熱器不易結(jié)垢,壽命長,應(yīng)用在室外環(huán)境質(zhì)量差且對循環(huán)水質(zhì)要求高的場合優(yōu)勢明顯;但閉式冷卻塔初投資和運行成本均較高,占地面積大,重量較重。
3、干冷器
干冷器即干式冷卻器,其工作過程沒有水的消耗,是通過管內(nèi)走液體與管外走自然風來冷卻管內(nèi)液體,降低管內(nèi)液體溫度,達到冷卻的目的。干冷器中的載冷劑通常使用乙二醇溶液,需要根據(jù)項目地冬季極端溫度選取溶液濃度。
干冷器示意圖
干冷器沒有壓縮機,總體耗電量低,機組使用壽命長,初投資比風冷冷水系統(tǒng)和水冷冷水系統(tǒng)低,但其一般安裝在室外,運行環(huán)境相對惡劣,且在夏季炎熱散熱較差的區(qū)域,需配置水噴淋冷卻系統(tǒng)或濕簾系統(tǒng)增強換熱,導致占地面積增大。
三、一次側(cè)系統(tǒng)應(yīng)用場景
在冷板式液冷系統(tǒng)中,發(fā)熱器件不直接接觸液體,而是通過與裝有液體的冷板直接接觸來散熱,或者由導熱部件將熱量傳導到冷板上,然后通過冷板內(nèi)部液體循環(huán)帶走熱量。由于服務(wù)器芯片等發(fā)熱器件不用直接接觸液體,所以該方式對現(xiàn)有服務(wù)器芯片組件及附屬部件改動量較小,可操作性更強,成為目前成熟度最高、應(yīng)用最廣泛的液冷散熱方案。
二次側(cè)相對穩(wěn)定,通過冷卻液分配單元(CDU)及后面的系統(tǒng)架構(gòu)進行配置。一次側(cè)可以考慮多種的使用條件和場景進行組合。按照制冷的方式,主要分成機械制冷和自然冷卻制冷,同時結(jié)合國內(nèi)情況,進行劃分如下:
一次側(cè)和二次側(cè)供液溫度的參考值
一次側(cè)冷源有多種組成形式,需根據(jù)當?shù)厥彝猸h(huán)境溫度(包括干球 / 濕球溫度)及液冷服務(wù)器的進液溫度,確定是否需要下調(diào)水溫;另外供水溫度應(yīng)比室內(nèi)露點溫度高出 2℃~3℃左右,以防結(jié)露。
1、方案一:冷水機組 + 冷卻塔(開式)+ 板換
在高熱高濕地區(qū),機房環(huán)境溫度要求高,直接采用閉式冷塔 / 干冷器無法直接滿足供冷要求,需要輔助機械制冷裝置;冷源通常采用冷水機組 + 冷卻塔的聯(lián)合供冷的方式,此結(jié)構(gòu)適應(yīng)性強,效率高,但耗水量較大,不適合缺水的地區(qū)。
冷塔 + 水冷冷機 + 板換系統(tǒng)示意圖
系統(tǒng)根據(jù)室外溫度變化分成兩種模式:
模式一:室外溫度較低,無需冷機開啟,僅憑冷塔 + 板換即可滿足制冷要求。
模式二:冷塔出水水溫高于 CDU 需求,需要機械降溫補冷,形成冷塔 + 冷機的組合形式。
2、方案二:風冷冷水機組
風冷冷水機組將冷凝器、水泵、壓縮機等部件合成整體,且通常配置干冷器(免費冷源模塊),集成度高;但是無法利用水的蒸發(fā)潛熱,系統(tǒng)能效低,適合系統(tǒng)偏小環(huán)境以及缺水地區(qū)。
風冷冷水機組示意圖
使用模式與場景 1 相近,也具備兩種模式:
模式一:室外溫度較低,無需冷機開啟,僅憑免費冷源模塊即可滿足制冷要求。
模式二:免費冷源模塊無法滿足 CDU 的溫度要求,需要機械降溫補冷,則直接使用風冷冷機形式。
3、方案三:閉式冷卻塔 / 干冷器
對于當?shù)貧鉁厝贻^低,可采用閉式冷塔/干冷器直接供冷,全年無需機械制冷。
閉式冷卻塔/干冷器液冷系統(tǒng)示意圖
閉式冷塔和干冷器使用模式基本相同,閉式冷卻塔系統(tǒng)仍以蒸發(fā)散熱為主,可以輸出更低的溫度,循環(huán)系統(tǒng)水質(zhì)較好,對于 CDU 或者其它換熱設(shè)備友好,只是耗水量大。干冷器體積較大,單機制冷量偏小,但容易布置,配置上濕膜,還可以部分使用蒸發(fā)冷卻。
該系統(tǒng)也分成兩種模式:
模式 1:干模式,無需通過水蒸發(fā)散熱。
模式 2:濕模式,系統(tǒng)需要通過噴水蒸發(fā)的潛熱帶走熱量,閉式冷卻塔此時和開式冷卻塔相同。干冷器通過進風口的濕膜初步降溫,再進行二次降溫。
4、方案四:開式冷卻塔
開式冷卻塔制冷模式與閉式冷卻塔完全相同,只是開式冷卻塔水路與大氣相通,水質(zhì)較差。
開式冷卻塔冷卻示意圖
上述方案以液冷側(cè)需求為主要考量因素。冷板液冷機房在實際運轉(zhuǎn)過程中,液冷系統(tǒng)往往仍然需要配備少量空調(diào)使用,以滿足服務(wù)器中非液冷部件的散熱需求。
一次側(cè)冷源建議方案
二次側(cè)冷液冷板概述
二次側(cè)液體回路是指從冷量分配單元到機架,通過供回冷卻工質(zhì)歧管和 IT 設(shè)備連接,然后再通過歧管返回冷量分配單元的設(shè)計。來自二次側(cè)冷卻回路的熱量通過冷量分配單元的板式熱交換器傳遞到一次側(cè)冷卻回路,最終排放到大氣中或被熱回收再利用。
隨著 IT 設(shè)備功率密度的增加,需要更高效的冷卻技術(shù)來滿足日益增長的算力需求。與傳統(tǒng)的風冷相比,液冷方案提供了更加高效的冷卻效率。而何時轉(zhuǎn)換到液冷取決于許多不同的因素,例如包括散熱性能需求、電力配備、PUE 要求、IT 設(shè)備密度、冷卻成本,以及將來的 IT 設(shè)備的性能需求和部署策略等等。另外,是改造現(xiàn)有設(shè)施還是重新建造新的數(shù)據(jù)中心機房, 也需納入 TCO 的考量范圍。
采用液體冷卻的一個直接原因是,傳統(tǒng)的風冷方案已經(jīng)無法滿足 IT設(shè)備的散熱需求,故而需要新的方案提升冷卻能力。對于 CPU 和GPU 等高功耗元器件,究竟何時或在何種功率水平下需要液體冷卻,目前尚無通用指南,不能一概而論。但應(yīng)注意的是,除了成本分析外,還需要了解液冷方案的一些設(shè)計考量,比如冷卻回路中的所有浸潤材料與所使用的冷卻工質(zhì)相容并保持長期可靠性,使用的冷卻工質(zhì)不能與任何其他冷卻工質(zhì)混合使用等等。
液冷部件設(shè)計考量
一、冷卻工質(zhì)
二次側(cè)冷卻回路中常用的冷卻工質(zhì)包括水基冷卻工質(zhì)和非水基冷卻工質(zhì)。其選擇需要在滿足冷卻性能需求的同時,還應(yīng)滿足二次側(cè)冷卻回路中所有浸潤材料的相容性和長期可靠性,并同時考慮IT設(shè)備及冷卻工質(zhì)本身維護的便利性、使用預(yù)期壽命及液體的成本等綜合因素。
每種液冷冷卻工質(zhì)都有不同的優(yōu)點和缺點,下面表中有詳細介紹。水基冷卻工質(zhì)具有良好的傳熱性能,其中的純水液通過維持超低電導率環(huán)境抑制浸潤材料的腐蝕和微生物的滋生;配方液通過緩蝕劑和殺生劑的添加劑降低浸潤材料的腐蝕風險和抑制細菌生長。但這些添加劑會降低水的熱傳導性能,也存在因消耗而失去作用的問題,所以需要研究對整體性能的潛在影響和品質(zhì)監(jiān)測方法。
水的另一個特性是常溫常壓下其冰點是 0°C。因此,需要考慮其工作環(huán)境溫度范圍以及是否滿足操作、運輸和儲存期間的要求,通常使用的防凍劑包括丙二醇和乙二醇。但隨著冷卻工質(zhì)中丙二醇或乙二醇含量的增加,會造成冷卻工質(zhì)粘滯系數(shù)過高,對熱性能造成部分衰減,同時水泵的揚程需要提高,導致水泵功耗提升。因此,了解操作溫度及儲存和運輸過程的溫度要求非常重要,不要添加太高比例的丙二醇或乙二醇,25% 及以上的丙二醇或乙二醇溶液,即具有一定的抑制液體中細菌生長的功能。另外,通常冷卻工質(zhì)使用防凍劑首選丙二醇。丙二醇比乙二醇毒性小,在自然環(huán)境中分解速率也更快。少量的丙二醇甚至被用作食品工業(yè)的添加劑,具體優(yōu)缺點見下表。
為了減低液冷系統(tǒng)在運輸過程中的腐蝕和污染的風險,IT 設(shè)備或機架可以預(yù)先充入合適的冷卻工質(zhì)或惰性氣體加以保護。在系統(tǒng)現(xiàn)場裝配時,除了按照制造商提供的裝配操作流程,還應(yīng)考慮在系統(tǒng)運行之前沖洗預(yù)充的液體及充分排除系統(tǒng)內(nèi)部的氣體。此外,必須定期檢測液冷冷卻工質(zhì),尤其是配方液的品質(zhì)以了解其成分變化。
非水冷卻工質(zhì)主要是礦物油或合成油、介電液體和冷媒。礦物油或合成油類工質(zhì)因其粘度、粘性和易吸濕水解等問題不作推薦;介電液體有單相和兩相兩類,沸點較高的液體通常用于單相冷卻,沸點較低的液體通常用于相變冷卻。介電液體的一個優(yōu)點是,在發(fā)生潛在泄漏時,液體本身是電絕緣體(低導電率),一般不會造成 IT 設(shè)備的電子電路短路。介電液體通常密度更高,成本也比較貴,同時針對某些介電液體需要考慮全球變暖潛能值(GWP)的影響,這些因素必須在選擇冷卻工質(zhì)時予以充分考慮。除介電液體外,冷媒也可用于兩相冷卻。冷媒具有相對較低的沸騰溫度,允許液體相變并蒸發(fā),可以通過改變工作壓力來改變飽和溫度。
水基冷卻工質(zhì)優(yōu)缺點
防凍液優(yōu)缺點
介電液體優(yōu)缺點
冷媒優(yōu)缺點
1、浸潤材料
浸潤材料是指其表面與冷卻工質(zhì)直接接觸的材料,必須和冷卻工質(zhì)之間具備相容性,以將冷卻回路中潛在的腐蝕風險和泄漏風險降至最低。因此,詳細了解所有冷卻部件和所使用的材料至關(guān)重要,需要和所有浸潤材料部件及液體供應(yīng)商建立密切合作,確保材料的相容性。ASHRAE 提供的列表只是一個初步的建議,隨著新設(shè)計及新材料成分引入,它將繼續(xù)完善和更新。需要注意的是,該列表并不是對所述材料相容性的承諾,具體材料的選擇,仍然需要通過測試來確定。
2、過濾裝置
過濾裝置就是用于彌補冷卻工質(zhì)品質(zhì)和系統(tǒng)腐蝕可能帶來的風險的專門功能組件,用于防止因顆粒物、碎屑和細菌污染而引起的操作可靠性問題。顆粒物是微觀的,通常以微米為單位進行測量。
過濾裝置的主要作用是為了防止顆粒物積聚污染系統(tǒng)部件,尤其是在冷板液冷中,還與微通道冷板內(nèi)的翅片陣列寬度、熱交換器板間隙寬度及快換接頭結(jié)構(gòu)都有關(guān)。在這些地方,顆粒物污染可能導致堵、性能降低、泄漏或系統(tǒng)故障。過濾裝置的位置是系統(tǒng)設(shè)計者需要考慮的一個問題,過濾裝置工作會影響系統(tǒng)壓降,而良好的設(shè)計旨在盡可能地減少過濾器的壓降從而提高系統(tǒng)冷卻效率。可根據(jù)開式系統(tǒng)或密閉式系統(tǒng)選擇過濾裝置的精度。設(shè)計者應(yīng)考慮維護的便利性,這包含計劃周期性的維護和計劃外的突發(fā)維護干預(yù),使用冗余設(shè)計來保障液冷系統(tǒng)實現(xiàn)在線維護。
3、冷卻工質(zhì)要求
冷板使用的冷卻工質(zhì)應(yīng)滿足如下要求,即冷卻工質(zhì)應(yīng)具有良好的熱力學性能,不同冷卻工質(zhì)的物性參數(shù)參見中國國標 GB / T 15428-1995的附錄 A 及 YD / T 3982-2021 中第 4 章和第 6 章的要求。
4、冷卻工質(zhì)選擇考量指標
冷卻工質(zhì)液體具有不同的熱性能,在評估不同液體的熱性能時應(yīng)對此予以重視。下表中顯示了液體評估時的重要參數(shù)。按照液冷裝置部署所在地的地理位置和氣候條件,這些參數(shù)需要綜合考慮。
冷卻工質(zhì)液體熱性能參數(shù)
二、冷板的設(shè)計與驗證
冷板的選擇取決于散熱要求、成本要求、操作參數(shù)及使用的浸潤材料等因素。二次側(cè)冷卻回路中與冷卻工質(zhì)接觸的所有部件所使用的材料必須要和冷卻工質(zhì)的浸潤材料清單(WML)相符。根據(jù)需要被冷卻的元器件不同的溫度要求、冷卻工質(zhì)參數(shù),例如流速、溫度和傳熱特性,冷板設(shè)計復(fù)雜難度也不同。例如,常用的微通道冷板結(jié)構(gòu)比較復(fù)雜,其中微通道主要是增加與液體接觸面積,以提高冷卻性能。而更簡化的冷板設(shè)計是帶有簡易內(nèi)部流體通道的模塊。
隨著設(shè)計復(fù)雜性的增加,成本也隨之增加。因此,如果使用簡單的設(shè)計就可以滿足冷卻需求,那就不需要通過增加設(shè)計的復(fù)雜性,來獲得更高的冷卻性能。
冷板示意圖(分體式)
1、冷板設(shè)計考量指標
在設(shè)計冷板時,需要考慮不同的參數(shù),這些參數(shù)如表 8 所示(通常使用熱界面材料(TIM)來增強需要冷卻的部件與冷板之間的傳熱性能,這里不展開討論)。同時,還需要考慮冷板與內(nèi)部液體回路管道的物理連接。對于微通道冷板設(shè)計,也有一些重要參數(shù),其中翅片之間的間距是確定過濾裝置孔目大小設(shè)計要求的一個重要參考參數(shù),為避免污垢堵塞,建議液體中顆粒尺寸不大于 50μm。
冷板設(shè)計考量參數(shù)
2、冷板設(shè)計要求
冷板設(shè)計滿足如下要求:
應(yīng)根據(jù)芯片的型號尺寸及電子信息設(shè)備的內(nèi)部結(jié)構(gòu)進行設(shè)計,以獲得更好的換熱效率;在滿足芯片整個使用周期內(nèi)的殼溫要求下,盡可能優(yōu)化流道設(shè)計,減小冷板模塊的流阻;
應(yīng)保障滿足芯片插座的載荷要求及芯片對散熱器重量的要求;
應(yīng)考慮配管位置、方向及液體進出口位置,避免與電子信息設(shè)備產(chǎn)生結(jié)構(gòu)干涉;
冷板基板和流道宜采用銅或鋁合金材質(zhì),一個系統(tǒng)中不應(yīng)有兩種電位差較大的金屬;
應(yīng)考慮冷板的安裝及拆卸順序,滿足芯片的操作要求;
應(yīng)滿足芯片的扣合力技術(shù)要求,及安裝/拆除后散熱器底面平面度的技術(shù)要求;
冷板接口設(shè)計應(yīng)考慮冷板最大允許壓力和安全余量,并考慮拆裝冷板組件時可能產(chǎn)生的接口應(yīng)力等問題;
如使用配方液冷卻工質(zhì),緩蝕劑配方必須與冷板選用材質(zhì)相匹配,并兼顧整個系統(tǒng)的材質(zhì)匹配問題;
冷卻工質(zhì)的選用應(yīng)考慮與二次側(cè)循環(huán)回路中所有直接接觸的固體表面材質(zhì)間的相容性。
3、冷板熱性能要求
冷板熱性能應(yīng)滿足如下要求:
冷板使用者應(yīng)提供冷板入口處冷卻工質(zhì)的溫度和流量條件;
待冷卻芯片的殼溫在整個使用期間不應(yīng)超過芯片供應(yīng)商規(guī)定的最大殼溫值;
二次側(cè)冷卻環(huán)路總的流阻需要適配冷量分配單元循環(huán)泵工作點揚程能力;
系統(tǒng)總的流阻容量選擇以及待冷卻芯片的殼溫需要考慮一定的冗余,流阻容量的冗余宜不小于 10%,殼溫冗余宜不小于 3℃,以便滿足系統(tǒng)的容差需求;
冷板設(shè)計者宜提供冷板使用的熱邊界條件曲線,即入口處冷卻工質(zhì)溫度與流經(jīng)冷板的冷卻工質(zhì)流量之間的依存關(guān)系。圖中給出了冷板設(shè)計的熱邊界條件曲線。當冷板使用邊界條件(入口流量及入口溫度)位于曲線下方(含曲線)的任一邊界條件(冷板入口處冷卻工質(zhì)的溫度及其流量)時,該冷板的冷卻能力即可滿足待冷卻芯片的最大殼溫要求。可同時參考冷板熱阻與冷板流阻曲線示意圖;
冷板入口處冷卻工質(zhì)流速不宜高于 1.5m/s,冷卻工質(zhì)供回液溫差宜控制在 5℃-10℃ 范圍內(nèi)。
冷板設(shè)計熱邊界條件曲線
4、冷板熱性能測試
將冷板鎖固在待測芯片上,冷板的液體進出口與熱性能測試系統(tǒng)相連,同時確保測試環(huán)路中非凝性氣體排空,并將流經(jīng)冷板的液體流量調(diào)節(jié)到期望值,給待測芯片施加期望的功耗;待測試結(jié)果穩(wěn)定后,記錄冷板進出口的壓力值、待測芯片的殼溫、冷板入口液體溫度、給待測芯片施加的功耗值,以及流經(jīng)冷板的液體流量值。依據(jù)測試結(jié)果,分別依據(jù)式(1)和式(2)計算冷板在一定的流量范圍內(nèi)的熱阻值和流阻值,繪出冷板的熱性能曲線和流阻曲線。
R=(Tc - TL) ? Q ………………………………(1)
R——冷板熱阻,單位為(℃/W)
Tc——待冷卻芯片的殼溫,單位為(℃)
TL——冷板入口液體溫度,單位為(℃)
Q——施加在芯片上的功耗值,單位為(W)
ΔP=P1 - P2………………………………………(2)
ΔP——流經(jīng)冷板的流阻值,單位為(KPa)
P1——冷板進口的壓力值,單位為(KPa)
P2——冷板出口的壓力值,單位為(KPa)
在用戶期望的冷板使用邊界條件下(給定的 TL 和 Q),測得的冷板所能支持的殼溫值,在考慮標準差和冷板生命周期內(nèi)熱性能衰減之后不能高于芯片的最大殼溫。
冷板熱性能和流阻曲線
三、冷量分配單元及冷卻性能
冷量分配單元(CDU)是一種用于在液體回路之間進行熱交換的裝置。CDU 組件包括接口、泵、液-液或風-液熱交換器、儲液罐、閥門、控制裝置、監(jiān)控裝置、過濾器及各種傳感器,主要用于制冷量、流量、壓力及溫度的測量和控制。CDU 使用的各種組件材料必須要和所用冷卻工質(zhì)進行匹配測試驗證,確保其相容性。
CDU 將二次側(cè)流體回路與一次側(cè)回路隔離,提供二次側(cè)流體回路和一次側(cè)流體回路之間的連接及熱交換,CDU 的功能還包括對壓力、流量、溫度、露點控制、水質(zhì)潔凈度及泄漏監(jiān)測。通過使用CDU 分離一次側(cè)和二次側(cè)回路,可降低潛在的泄漏(二次側(cè)回路中的液體量較小,壓力和流速較低)。在使用優(yōu)化方面,通過 CDU 控制可以平衡由于溫度的要求、負載的不同及功耗優(yōu)化造成的各 IT 設(shè)備間的差異。
CDU 支持的機架數(shù)量可以從單個機柜擴展到組合機架的組或集群,液體通過安裝在機架中帶接頭的專門管道供回液歧管分配。CDU 的大小和參數(shù)設(shè)置取決所有 IT 設(shè)備集群產(chǎn)生的熱負荷。當然各個功率水平因組件而異,確定熱負荷的大小需要考慮到未來有可能引入新技術(shù)時需要的熱冗余。此外,冷卻工質(zhì)的性質(zhì)和特性(如導熱系數(shù)、粘度、比熱和密度)也會影響冷卻能力和泵的工作功耗。
冷量分配單元熱交換原理示意圖
1、冷量分配單元的考量指標
在選擇 CDU 時,有些參數(shù)需要考量,其中一些參數(shù)如表 9 所示。另外,需要和 CDU 的供應(yīng)商確認,所有用于 CDU 部件的浸潤材料必須和冷卻工質(zhì)材料相容。
冷量分配單元(CDU)考量參數(shù)
2、冷量分配單元冷卻性能
CDU 的換熱器冷卻能力取決于其趨近溫度特性。趨近溫度是冷卻工質(zhì)在 IT 設(shè)備入口處的溫度減去一次側(cè)冷卻水在 CDU 入口處的溫度。除了趨近溫度之外,在考慮 CDU 的散熱及機械性能時,還有其他因素需要考慮。其關(guān)鍵參數(shù)包括:
趨近溫度(宜選用(3-10)°C)
液體成分(例如:純水、25%PG、55%PG)
一次側(cè)流量、二次側(cè)流量和泵功率和揚程
一次側(cè)用水溫度等級(例如:W27、W32、W45、W+ 等等)
由于沒有一套標準化參數(shù)用于不同 CDU 之間的性能比較,建議每個客戶與各自的 CDU 供應(yīng)商合作,依據(jù)實際操作條件,評估所考慮的 CDU 能否滿足散熱要求。例如,可以讓供應(yīng)商提供 CDU 在特定液體操作下,在一次側(cè)和二次側(cè)不同流量的對應(yīng)關(guān)系、CDU 的排熱能力及趨近溫度等。
3、冷量分配單元一次側(cè)冷卻系統(tǒng)
室外冷源:
參考《GB 50019 - 2015 工業(yè)建筑供暖通風與空氣調(diào)節(jié)設(shè)計規(guī)范》,CDU 一次側(cè)冷卻室外機在采用蒸發(fā)冷卻時,可以將供水溫度逼近室外濕球溫度。因此,在不使用制冷機組的情況下,CDU 一次側(cè)最低供水溫度主要由項目所在地的夏季空調(diào)室外計算濕球溫度確定(可參考 ASHRAE 各地環(huán)境以及十年極端天氣)。
參考《Liquid Cooling Guidelines for Datacom Equipment Centers》,開式冷卻塔循環(huán)水與外界空氣直接接觸,需要排放廢水。且水中雜質(zhì)顆粒物較多,需要防止結(jié)垢。為保證制冷效果與穩(wěn)定性,CDU 一次側(cè)冷卻設(shè)備不推薦使用開式冷卻塔,建議采用閉式冷卻塔或者干冷器。
一次側(cè)管材:
參考 ASHRAE《Liquid Cooling Guidelines for Datacom EquipmentCenters》,一次側(cè)回路水管材質(zhì)可以考慮:
銅合金:122、220、230、314、360、377、521、706、836、952;
聚合物 / 彈性體:丙烯腈丁二烯橡膠(NBR)、乙丙二烯單體(EPDM)、
聚四氟乙烯(PTFE);
不銹鋼:300 系列、400 系列、碳鋼。
水質(zhì)要求:
CDU 一次側(cè)循環(huán)水水質(zhì)的好壞直接影響 CDU 的換熱效率以及使用壽命。為支撐液冷系統(tǒng)長期穩(wěn)定運行,CDU 一次側(cè)閉式循環(huán)水系統(tǒng)水質(zhì)可以參考 GB/T 29044-2012《采暖空調(diào)系統(tǒng)水質(zhì)》中集中空調(diào)間接供冷閉式循環(huán)冷卻水系統(tǒng)標準。
GB / T 29044-2012《采暖空調(diào)系統(tǒng)水質(zhì)》中集中空調(diào)間接供冷閉式循環(huán)冷卻水系統(tǒng)標準
同時,可參考 ASHRAE_TC.9.9_ Water-Cooled Servers CommonDesigns, Components, and Processes_2019
ASHRAE 一次側(cè)循環(huán)水要求
4、液冷群控系統(tǒng)
液冷群控系統(tǒng)負責室外冷源、液冷 CDU、一次側(cè)循環(huán)水泵、補水、水質(zhì)監(jiān)測、漏液告警等,通過群控系統(tǒng)實現(xiàn)組網(wǎng)運行、節(jié)能控制,具備主備、輪詢、冗余配置、故障切換以及供冷連續(xù)性功能。在群控模式下,主控制器根據(jù)機房實際負載情況,對液冷機組進行加減機和降頻控制和巡檢告警等。
四、機架式冷卻工質(zhì)供回液歧管設(shè)計考量
機架供回液歧管是二次側(cè)回路中的一個關(guān)鍵部件,用于分配流入或流出機架內(nèi) IT 設(shè)備的冷卻工質(zhì)。在使用機架式 CDU 的液冷部署中,歧管可以與 IT 設(shè)備和機架式 CDU 直接構(gòu)成完整的閉式循環(huán)回路。歧管結(jié)構(gòu)的特點是沿著管的方向有一系列形成液體回路的快換接頭連接著 IT 設(shè)備,連接接頭有盲插、手動連接、螺紋連接等多種類型。接頭的直徑和歧管尺寸的選擇需要滿足當前和未來液體流量及操作性能要求,以及 IT 設(shè)備內(nèi)的液體流動拓撲結(jié)構(gòu)和冷板數(shù)量需求。為了有效利用空間,冷卻工質(zhì)歧管位置應(yīng)位于機架占地面積內(nèi)。
歧管的位置通常在機架內(nèi)后部,也可以根據(jù)IT設(shè)備的部署及配電設(shè)計要求,放置在機架的前面或側(cè)面。供回液歧管位置的選擇需要確保滿足快換接頭、電源接口、網(wǎng)絡(luò)和其他 I/O 的操作要求,包括 IT 設(shè)備運行的電纜和軟管的管理,需要方便 IT 設(shè)備的接入和斷開。供回液歧管為二次側(cè)液體回路提供了一個重要的連接點,液體回路的布局可能會有所不同(此處不詳細討論),供回液歧管與液冷系統(tǒng)管網(wǎng)的連接點可以在機架的底部或頂部,但因連接位置點泄漏風險相對較大,在底部泄漏后滴落在地板上風險更低,所以建議連接點設(shè)置在機架底部。
二次側(cè)回路的連接部件包括能夠保持二次側(cè)操作壓力的管道和快換接頭,同時,快換接頭需要滿足爆破壓力的要求工質(zhì)(見第七章壓力安規(guī))。典型的數(shù)據(jù)中心預(yù)期使用壽命是 10-20 年,除快換接頭外,由于歧管的部分結(jié)構(gòu)壽命限制,可能需要對供回液歧管進行維修、維護和升級,還應(yīng)顧及供回液歧管的裝配、調(diào)試和終身維護,因此需要仔細考慮歧管的設(shè)計和選擇。
機架式冷卻工質(zhì)供回液歧管示意圖
1、冷卻工質(zhì)供回液歧管考量指標
當評估不同的歧管設(shè)計方案時,需要考慮不同的參數(shù)以滿足歧管各支路流量分配的均勻性,以及歧管提供流量與需求流量的匹配性。其中一些參數(shù)如下表 所示。
冷卻工質(zhì)供回液歧管考量參數(shù)
2、冷卻工質(zhì)供回液歧管參考設(shè)計要求
任何歧管的參考設(shè)計都需要滿足表中列出的最低運行條件,以確保其能夠正常工作,同時在世界上絕大多數(shù)地方運輸過程中不會出現(xiàn)問題。
冷卻工質(zhì)供回液歧管參考設(shè)計要求
五、冷板式液冷回路中循環(huán)泵的選擇
泵是向其它系統(tǒng)重要部件提供液體流量的核心。泵的選擇是系統(tǒng)設(shè)計最重要的一環(huán),在設(shè)計液冷解決方案的早期階段就需要考慮。為了使冷卻工質(zhì)與泵相匹配,泵的形態(tài)及制造材料有多種選擇。出于維護和降低故障的目的,還可能會采用雙泵配置的冗余設(shè)計,無論是串聯(lián)配置還是并聯(lián)配置,管路的連接都需要考慮空間、布局、尺寸、材料相容性、維護方便性和連接類型。
泵由各種類型的電機驅(qū)動,在評估或優(yōu)化裝置的能源效率時,需要考慮這一點。泵的安裝位置決定了其局限性和選擇標準。泵在二次側(cè)的位置的選擇有很大的差異性。具體來說,如果泵放在 IT 設(shè)備中,其高度需不高于IT 設(shè)備的機箱高度。IT 設(shè)備內(nèi)的空間非常寶貴,泵的集成構(gòu)成了服務(wù)器機箱布局的一部分。IT 設(shè)備供應(yīng)商在設(shè)計液冷方案的時候需要管理機箱內(nèi)冷卻工質(zhì)的流量,使其和需被冷卻的電子元器件熱負載相匹配。
基于這一目的,泵可直接集成到冷板上,或以分離的形式提供循環(huán)動力和所需流量。作為一個好的系統(tǒng)設(shè)計,設(shè)計人員還需考慮壓降和效率。此外,還需滿足冷卻工質(zhì)與泵內(nèi)部材料和過濾裝置的材料相容性,以防污染顆粒堵塞泵并降低其工作效率,甚至導致故障。液體特性包括粘度,液體粘度的變化會改變泵的工作效率和壽命,選擇不當?shù)谋每赡軙档捅玫膲勖?/p>
另一個考慮因素是工作環(huán)境,包括液體的特性和操作溫度,這將決定泵內(nèi)使用的部件材料,因為冷卻工質(zhì)將與泵內(nèi)件直接接觸。泵的選型要求還取決于管道布局 / 設(shè)計、管道長度、彎管品質(zhì)和材料選擇等參數(shù),這些可能會導致液體和管壁摩擦并形成湍流,從而導致壓降增加。
1、泵的選擇考量指標
泵的選擇考量參數(shù)
六、快換接頭的選擇方法
在二次側(cè)流體回路中,快換接頭是保證服務(wù)器具備在線插拔維護性能的關(guān)鍵部件,決定了 IT 設(shè)備的可維護性和模塊化設(shè)計,但其會給液冷系統(tǒng)帶來額外的流阻,因此快換接頭選型應(yīng)考慮其流阻特性和后續(xù)服務(wù)器升級的需求。
快換接頭是公 / 母配置(插頭 / 插座、插件 / 主體等)配對使用的。斷開時,集成在快換接頭內(nèi)部的用于密封流體流動的自封閥芯會斷開流體的連接,以保護周圍設(shè)備不受影響,因此其選型必須嚴格限制每次斷開時冷卻工質(zhì)的泄漏量;一般要求單次插拔泄漏量小于 1/6 液滴(連續(xù)插拔 6 次,允許一滴滴落)或小于 0.5 毫升,且建議使用液體泄漏量最小的快換接頭,此類接頭通常為無滴、無溢流或平齊斷面設(shè)計。
在使用手動插拔快換接頭連接的系統(tǒng)中,應(yīng)考慮人體工程學問題(例如鎖緊機構(gòu)、連接力、空間限制),確保易于維修。盲插設(shè)計通常還需要考慮安裝公差和不對中公差,設(shè)計可靠的盲插配合機構(gòu)(如導向裝置)。快換接頭與二次側(cè)回路組件(機架液歧管、CDU、軟管等)的接口可以通過多種方式實現(xiàn)。對于軟管連接,椎管扣壓式或卡箍式結(jié)構(gòu)提供了一種簡單可靠的連接方法;對于更剛性的連接,如機架液歧管組件,螺紋連接比較常見,應(yīng)注意的是,螺紋連接應(yīng)禁止使用生料帶和螺紋密封膠。SAEJ 1926或 G / BSPP ISO 1179 等 O 形圈連接堅固可靠,便于安裝和制造。
快換接頭示意圖
1、快換接頭考量指標
表中列出了選擇冷板式液冷快換接頭時需要考慮的參數(shù)。需要注意的是,工作壓力和爆破壓力不同,工作壓力可定義為正常工作條件下的最大系統(tǒng)壓力,爆破壓力表示部件發(fā)生災(zāi)難性故障時的最小壓力。
快換接頭考量參數(shù)
*無法提供插拔力曲線的,至少應(yīng)提供設(shè)計工況下的插拔力值,尤其在手動插拔設(shè)計中,插拔力必須滿足運維人員可手動插拔的要求。
七、二次側(cè)管路
二次側(cè)管路將 CDU 和末端服務(wù)器冷板相連,一般連接方式有直連和環(huán)形管路連接兩種。環(huán)形管路是二次側(cè)回路中的一個關(guān)鍵部件,用于連接 CDU 的二次側(cè)和機架歧管,實現(xiàn)冷卻工質(zhì)均勻分配;環(huán)形管網(wǎng)包含供液環(huán)管、回液環(huán)管、CDU 支路、機架歧管支路、排氣裝置和排液口等,用以供液環(huán)管和回液環(huán)管分別形成環(huán)狀閉合回路,且提高環(huán)狀閉合回路系統(tǒng)的流量均勻性。另外,環(huán)形管網(wǎng)中無死端,液體一直處于流動狀態(tài),不易變質(zhì)。
每個 CDU 支路和機架支路上都安裝有閥門連接 CDU 和機架歧管,便于單個設(shè)備的維護。為確保局部管段檢修或發(fā)生故障時,其它管段能正常運行,不間斷供液,應(yīng)采用閥門將環(huán)形管網(wǎng)分成若干獨立段,一般為相鄰機架管路段之間用閥門隔開,也可將多個機架管路隔開。
直連式示意圖
環(huán)形管路示意圖
環(huán)形管網(wǎng)一般布置在靜電地板下,管網(wǎng)上的閥門操作手柄應(yīng)方便操作,不與機架底座或靜電地板立柱相干涉;環(huán)形管網(wǎng)段與段之間、支路與 CDU、機架歧管之間通過快裝卡盤或者法蘭連接。當管網(wǎng)較長時,應(yīng)在某一段或某個連接處,采用軟連接和活套法蘭,采用軟連接吸收設(shè)計及加工時長度方向誤差,采用活套法蘭吸收法蘭焊接時的角度誤差。
環(huán)形管網(wǎng)的管徑選型根據(jù) CDU 流量以及機架數(shù)量進行核算,支路管徑與 CDU 和機架歧管接口匹配。環(huán)形管網(wǎng)宜采用 304 或以上不銹鋼材料在工廠內(nèi)預(yù)制完成,施工現(xiàn)場直接拼裝。不銹鋼管道焊接采用氬弧焊工藝,單面焊接,雙面成型。每一段管路都需無塵車間生產(chǎn)確保管內(nèi)潔凈,以及封閉包裝發(fā)往現(xiàn)場,且出廠前都必須經(jīng)過酸洗鈍化及超聲波清洗。
環(huán)形管網(wǎng)參考設(shè)計輸入
八、背板空調(diào)
背板空調(diào)負責液冷服務(wù)器風冷部分散熱,其由背板空調(diào)系統(tǒng)(外殼、風機、換熱盤管、控制器)、工質(zhì)管道及閥件、配電系統(tǒng)及自控系統(tǒng)組成,用于保障機組實現(xiàn)最優(yōu)性能和工藝設(shè)備等安全運行。背板空調(diào)與機架緊密結(jié)合,安裝在機架后門。背板空調(diào)常用工況送風溫度≤25℃,回風溫度35℃。
泄漏檢測與干預(yù)
減少泄漏的主要方法是采用穩(wěn)健的泄漏預(yù)防策略。同時,在實際設(shè)備安裝操作中,需要制定完善的泄漏管理計劃,管理計劃包括泄漏檢測和干預(yù),且需要滿足數(shù)據(jù)中心的設(shè)施運行要求。
在二次側(cè)冷卻回路中,需要在不同的存在泄漏風險的位置進行檢測,如CDU、機架、快換接頭、和/或計算節(jié)點,可采用間接檢測方法,可通過監(jiān)測和分析現(xiàn)有硬件和傳感器的狀態(tài),檢測并識別到管路中與泄漏特征匹配的微小壓降和/或流量變化。而直接檢測方法是在高風險區(qū)域部署專用泄漏檢測硬件。典型的直接檢測裝置為點探測器、薄膜檢測帶或泄漏檢測線纜,當其與泄漏的導電冷卻液接觸時會記錄并告警。為了進行可靠的泄漏檢測,其傳感器應(yīng)放置在發(fā)生泄漏時冷卻工質(zhì)與之直接接觸或有可能聚集后再接觸的區(qū)域,比如機架、CDU和/或二次側(cè)環(huán)路管道等設(shè)施的下方,以檢測二次側(cè)環(huán)路管路和機架之間和/或冷卻工質(zhì)輸送過程中的潛在泄漏風險。
由于計算節(jié)點通常是 IT 設(shè)備中最昂貴的組件,且存在泄漏的導電冷卻工質(zhì)可能造成設(shè)備損壞和數(shù)據(jù)丟失等風險,因此需要檢測計算節(jié)點附近的潛在泄漏,而且在檢測泄漏和快速定位發(fā)生泄漏的計算節(jié)點位置的同時,需要吸附、儲存和/或?qū)Я餮b置,避免漏液與高價值設(shè)備接觸,爭取人工處理響應(yīng)所需的時間。另外,增加用于確定泄漏位置的傳感器,會帶來成本相應(yīng)增加。
泄漏有不同級別的干預(yù)方式,最低級別的干預(yù)是手動干預(yù),即當發(fā)生泄漏時,會通知設(shè)施人員到現(xiàn)場處理,但人員響應(yīng)時間周期內(nèi)可能已造成損失。高級別的干預(yù)是自動電氣干預(yù),即在發(fā)送泄漏事件的同時對IT設(shè)備進行數(shù)據(jù)存儲、關(guān)機和/或自動斷電。這可以降低暴露在泄漏/冷卻工質(zhì)中的硬件損壞或數(shù)據(jù)丟失的概率,但需要考慮如何處理被泄漏的液體接觸但被挽救了的設(shè)備。還有一種更好的的方法是自動電氣和流體干預(yù),也就是當檢測到泄漏通知時,IT設(shè)備斷電,同時冷卻液關(guān)閉。這可以更大限度地避免大量硬件設(shè)施暴露接觸到泄漏液體中,從而方便維修,減少損失。當然,泄漏自動干預(yù)會造成成本的增加,是否采用需要根據(jù)實際需求進行權(quán)衡。
泄漏檢測分類分為間接和直接兩種方式:
間接方式:通過使用現(xiàn)有的壓力、流量、溫度和氣泡等傳感器和算法,來確定泄漏;
直接方式:在特定位置(如上所述)使用泄漏繩/電纜、薄膜檢測帶等檢測作為傳感器,直接檢測漏液。
泄漏干預(yù)分類分為兩種方式:
手動干預(yù):在檢測到泄漏后使用手動干預(yù),例如,關(guān)閉流量控制閥并關(guān)閉IT設(shè)備;
自動干預(yù):在檢測到泄漏后使用自動干預(yù)方法,例如,IT 設(shè)備斷電和/或冷卻液關(guān)閉。
壓力安規(guī)
液冷系統(tǒng)及其部件需要符合當?shù)匕踩?guī)范,也可參考國際電工委員會(IEC)針對 IT 設(shè)備的安全標準,即 IEC 60950-1和 IEC 62368-1。
IEC 62368-1《音頻/視頻,信息和通信技術(shù)設(shè)備第 1 部分:安全要求》第 3 版(2018 年)是新的安全標準,其要求冷板以正常工作壓力的3倍壓力進行爆破壓力測試,允許變形但不能泄漏;而在正常工作壓力下(例如:40psi) 液體不泄漏,冷板無變形。
總結(jié)
數(shù)字化和綠色低碳已經(jīng)成為經(jīng)濟社會高質(zhì)量、可持續(xù)發(fā)展的關(guān)鍵推動力。中國“雙碳”目標的提出,更讓數(shù)字化與綠色低碳相互協(xié)同,加速推動數(shù)字基礎(chǔ)設(shè)施優(yōu)化升級,推進千行百業(yè)更快速實現(xiàn)碳中轉(zhuǎn)型,也成為中國發(fā)展數(shù)字經(jīng)濟,把握新一輪科技革命和產(chǎn)業(yè)變革新機遇,構(gòu)建現(xiàn)代化經(jīng)濟體系的重要引擎。英特爾植根中國,攜手生態(tài)伙伴積極行動,不斷協(xié)同推進技術(shù)創(chuàng)新,堅定不移實施責任戰(zhàn)略,助力中國加速實現(xiàn)“雙碳”目標。
《綠色數(shù)據(jù)中心創(chuàng)新實踐——冷板液冷系統(tǒng)設(shè)計參考》是在生態(tài)伙伴積極參與和大力支持下,應(yīng)對IT設(shè)備功耗和功率密度的增加,需要新的冷卻技術(shù)來滿足不斷提高的計算性能需求,而共同探索和提出的更經(jīng)濟、更高效的冷卻方案參考。本規(guī)范借鑒國際經(jīng)驗,經(jīng)大量實驗,系統(tǒng)闡述了冷板液冷系統(tǒng)設(shè)計相關(guān)的要求,以及未來液冷設(shè)計需要遵守的規(guī)范要求,可為數(shù)據(jù)中心液冷方案設(shè)計與研究提供路徑與借鑒。
就在本設(shè)計參考規(guī)范推出前不久,英特爾也發(fā)布了到 2040 年實現(xiàn)溫室氣體零排放的目標及里程碑。我們也希望籍此設(shè)計參考規(guī)范面世,進一步深化與產(chǎn)業(yè)伙伴的合作創(chuàng)新,繼續(xù)深入探討冷板液冷技術(shù),不斷完善本規(guī)范,進而為推進IT設(shè)備、算力設(shè)施,尤其是作為數(shù)字經(jīng)濟底座的數(shù)據(jù)中心進一步節(jié)能降耗,探討新方案、新途徑,為綠色新型基礎(chǔ)設(shè)施建設(shè)打造最佳實踐,并由此釋放整個產(chǎn)業(yè)生態(tài)和科技生態(tài)之力,為中國數(shù)字基建脫碳拓展更廣闊的道路,為數(shù)字經(jīng)濟整體邁向“碳中和”奠定堅實基礎(chǔ),并助力中國為全球可持續(xù)發(fā)展做出更大貢獻。
液冷應(yīng)用案例
一、超聚變液冷解決方案
超聚變數(shù)字技術(shù)有限公司經(jīng)過 10 年可靠性積累,170 余項可靠性測試,已經(jīng)成功在國內(nèi)外交付商用液冷服務(wù)器 10000+臺,商用案例有互聯(lián)網(wǎng)、高校、云數(shù)據(jù)中心、政企、超算、金融等。
超聚變打造整創(chuàng)新架構(gòu)整機柜液冷服務(wù)器,整機柜使用機柜上走電下走水架構(gòu),原生液冷設(shè)計實現(xiàn)天然可靠性保障,支持 100%液冷散熱,PUE 達 1.10 以下,滿足國家政策要求,是東數(shù)西算最佳的液冷解決方案,整機柜支持高密部署,整機柜可支持 144 個 CPU,同時機房免冷機部署,機房空間利用率再提升20%;業(yè)界首創(chuàng)液、網(wǎng)、電三總線盲插,機柜內(nèi) 0 線纜部署,支持機房向機器人運維演進,同時配套超聚變智能運維管理軟件業(yè)務(wù)上線效率提升 10 倍以上。通過架構(gòu)創(chuàng)新和整機工程技術(shù)創(chuàng)新打造最佳的商用液冷方案,致力為客戶提供綠色節(jié)能算力,為東數(shù)西算主要樞紐節(jié)點提供優(yōu)質(zhì)方案。
在國內(nèi)某液冷數(shù)據(jù)中心布署有超聚變上萬液冷節(jié)點,是全球最大液冷集群,TCO 降低 30%,交付效率提升 100%。
二、英特爾助力京東云打造冷板液冷解決方案
到 2025 年,重點工業(yè)行業(yè)能效全面提升,數(shù)據(jù)中心等重點領(lǐng)域能效明顯提升,綠色低球能源利用比例顯著是高,節(jié)能提效進一步成為綠色任碳的"等一能源"和降相成碳的首要舉措,新建大型超大型數(shù)挺中心電能利用效率(PUE)優(yōu)于1.3。
1、數(shù)據(jù)中心能耗持續(xù)增長液冷散熱比風冷更具優(yōu)勢
現(xiàn)代化高密度數(shù)據(jù)中心,不斷提升的整體功耗給救熱效率,節(jié)能減排、運營成本等帶來了極大挑戰(zhàn),相比傳統(tǒng)的空氣冷卻方案,液體冷卻(液冷)有著更高的冷卻效率與解源效率:
熱量能夠在更靠近其來源的地方與液冷介質(zhì)進行交換
同體積的傳熱介質(zhì),冷卻劑傳遞熱量的速度是空氣的6倍,蓄熱量是空氣的1000倍
冷卻液傳熱次數(shù)更少,容量縮減更小,可更有效降低XPU等關(guān)鍵組件的運行溫度及性能損失
2、高密度工作負載計算能力需求不斷提升
芯片整體TDP隨性能增加而增加,京東云 x86 處理器典型TDP,2013年為105瓦,2022年為350瓦
CPU漏電功率隨溫度升高而增加,占用更多功率預(yù)算,冷卻系統(tǒng)要幫助將熱阻降低到典型范圍:0.3-0.5 c/w
液冷與風冷在設(shè)計上有較大差異,在效率、穩(wěn)定性、經(jīng)濟性等方面還有很多優(yōu)化空間
3、面向可持續(xù)發(fā)展的冷板液冷解決方案
京東云冷板液冷解決方案是從數(shù)據(jù)中心級到系統(tǒng)級的整體方案,涵蓋CDU、機架、服務(wù)器等不同層級的產(chǎn)品與技術(shù),在CDU、工作液、歧管、服務(wù)器等方面進行了針對性的設(shè)計。
CDU
在整體液冷解決方案中,CDU 必須具有泵、熱交換器、過濾器、補水系統(tǒng)、變頻器、監(jiān)視器功能(如溫度和壓力傳感器)和其他組件
工作液
一次回路側(cè)選擇去離子水+乙二醇作為工作流體。去離子水有低電阻特性,乙二醇確保流體在低環(huán)境溫度下凍結(jié)而導致管道破裂的低風險。二次回路選擇純?nèi)ルx子水以提高熱性能。
歧管
安裝在機架上的歧管將冷流體分配到每個服務(wù)器節(jié)點,在歧管頂部的快速連接器可方使機架部署;歧管底端設(shè)計了手動排污口,方便系統(tǒng)排水維護。
服務(wù)器
服務(wù)器液冷方案主要由冷板、管路、快速接頭和檢漏線組成,單相冷板供液溫度范圍為 40~45℃,工作液容乙二酶溶液(去離子水)。為防范液體泄露,京東云采用檢漏線包裹液冷系統(tǒng),特別是在冷板和管路接頭處,確保漏液情況下及時報告并啟動漏液應(yīng)急措施。
4、第三代英特爾”至強”可擴展平臺助力京東云服務(wù)器液冷設(shè)計
第三代英特爾至強可擴展處理器
提供8個插措配置的多插槽內(nèi)核計數(shù)密度
性能、吞吐量和 CPU頻率顯著提升
內(nèi)置AI加速功能,提供無規(guī)性能基礎(chǔ),加快多云、智能邊緣和后端等數(shù)據(jù)的變革性影響。
京東云已于 2021年第二季度在數(shù)據(jù)中心部署了冷板液冷解決方案采用了基于第三代英特爾至強可擴展處理器的定制化服務(wù)器,調(diào)整了核心數(shù)、基礎(chǔ)和 Turbo題率,TDP、RAS特性、T機箱等主要基數(shù),以適配其可持續(xù)的液冷數(shù)據(jù)中心。
5、實際工程部署結(jié)束,京東云冷板液冷方案優(yōu)勢顯著
通過部署冷板液冷整體解決方案,京東云自建數(shù)據(jù)中心實現(xiàn):
數(shù)據(jù)中心PUF 降至1.1
每個14KW 機柜每年節(jié)電31031度
每個14KW 機柜每年碳減排24.4噸
三、藍海大腦冷板液冷解決方案
藍海大腦通過多年的努力,攻克了各項性能指標、外觀結(jié)構(gòu)設(shè)計和產(chǎn)業(yè)化生產(chǎn)等關(guān)鍵技術(shù)問題,成功研制出藍海大腦高性能冷板散熱解決方案,支持快速圖形處理,GPU 智能運算,性價比高,外形美觀,滿足了人工智能企業(yè)對圖形、視頻等信息的強大計算處理技術(shù)的需求。
快速、高效、可靠、易于管理的藍海大腦液冷工作站具備出色的靜音效果和完美的溫控系統(tǒng)。在滿負載環(huán)境下,噪音控制在 35 分貝左右。借助英偉達 NVIDIA 、英特爾Intel、AMD GPU顯卡可加快神經(jīng)網(wǎng)絡(luò)的訓練和推理速度,更快地創(chuàng)作精準的光照渲染效果,提供高速視頻和圖像處理能力,加速AI并帶來更流暢的交互體驗。
深度學習液冷服務(wù)器系統(tǒng)突破傳統(tǒng)風冷散熱模式,采用風冷和液冷混合散熱模式——服務(wù)器內(nèi)主要熱源 CPU 利用液冷冷板進行冷卻,其余熱源仍采用風冷方式進行冷卻。通過這種混合制冷方式,可大幅提升服務(wù)器散熱效率,同時,降低主要熱源 CPU 散熱所耗電能,并增強服務(wù)器可靠性。經(jīng)檢測,采用液冷服務(wù)器配套基礎(chǔ)設(shè)施解決方案的數(shù)據(jù)中心年均 PUE 值可降低至 1.2 以下。
液體冷卻方案名詞解釋
一、冷板式液冷
冷板式液冷是指采用液體作為傳熱工質(zhì)在冷板內(nèi)部流道流動,通過熱傳遞對熱源實現(xiàn)冷卻的非接觸液體冷卻技術(shù)。其中,熱量通過裝配在需要冷卻的電子元器件上的冷板,再通過冷板與液體工質(zhì)的熱交換實現(xiàn)的方式,稱為間接式液冷。其與浸沒或噴淋式液冷技術(shù)不同,后者主要是指電子元器件(通常在熱源表面也需要安裝散熱翅片,以增加熱交換面積)與冷卻工質(zhì)直接接觸的冷卻方式。
二、冷板
冷板是帶有內(nèi)部流體通道并允許冷卻工質(zhì)流過的熱交換器或散熱器。冷板安裝在需要冷卻的電子元器件熱表面上,將元器件產(chǎn)生的熱量通過液體冷卻工質(zhì)傳遞到冷量分配單元的板式熱交換器。冷板的設(shè)計多種多樣,可以根據(jù)不同的需求對其進行結(jié)構(gòu)設(shè)計優(yōu)化,其內(nèi)部流道可以是溝槽、扣合翅片、鏟齒、折疊翅片等構(gòu)造。對于一些高功耗或高熱密度元器件的散熱設(shè)計,流道通常還會設(shè)計成更復(fù)雜的微通道結(jié)構(gòu),以增加接觸面積,提高其散熱性能。
冷板基本結(jié)構(gòu)形態(tài)包括散熱模塊和固定模塊,固定模塊設(shè)計應(yīng)最大限度滿足扣合力正壓冷板。根據(jù)散熱模塊和固定模塊之間的連接方式可分為分體式液冷冷板(冷板散熱模塊與固定模塊由螺釘或其他方式連接,可根據(jù)需求進行拆卸與組裝),以及一體式液冷冷板(冷板散熱模塊與固定模塊不可拆卸與組裝)。根據(jù)密封形式則可分為密封圈組裝式或焊接密封等。
三、混合冷卻
指同時使用風冷和冷板液冷的方式。常見的混合冷卻是對高功率和高熱密度元器件使用液冷冷卻,而對于低功率元件的冷卻則使用風冷的方式。以 IT 設(shè)備的冷卻為例,對于 CPU / GPU 或內(nèi)存模塊上會安裝液冷冷板,而風扇則用于形成強迫風冷對其他元器件進行冷卻。
此外,還有一種將冷板、泵及換熱器集成在計算系統(tǒng)里面的設(shè)計應(yīng)用。所以采用混合冷卻方式的設(shè)計仍然需要空調(diào),來滿足非液冷元器件的散熱需求。為進一步降低機房空調(diào)的功耗,可以在機柜門安裝液冷背板門對熱空氣進行初步冷卻,這種方式可以用于高溫機房的設(shè)計,甚至可以取消機房空調(diào),構(gòu)成全液冷冷卻設(shè)計。
四、全液冷卻
全液冷卻指的是將所有元器件產(chǎn)生的熱量全部通過液體冷卻工質(zhì)傳遞至外部環(huán)境的冷卻方式。對于 IT 設(shè)備,采用全液體冷卻大致有兩種方式,一種是通過冷板設(shè)計實現(xiàn)服務(wù)器熱量完全導入冷卻工質(zhì),一種是通過冷板和液冷背板門組合的方式將服務(wù)器的熱量全部導入冷卻工質(zhì)。前者需要通過設(shè)計一個與服務(wù)器設(shè)計相匹配的復(fù)合冷板組件為所有元器件提供冷卻工質(zhì)的熱傳遞路徑。
對于全液冷機架的設(shè)計,機架通常會有一個冷板背板門安裝在熱空氣出口,將服務(wù)器中的熱量傳遞到液冷工質(zhì)中。全液體冷卻方式只需要最低能耗限度的室內(nèi)空調(diào),來消除殘余在空氣中的熱量。在可接受高溫機房的設(shè)計中,室內(nèi)空調(diào)甚至可以取消,以進一步降低數(shù)據(jù)中心 PUE。
五、單相和兩相冷卻工質(zhì)(冷卻工質(zhì) / 冷媒)
依據(jù)冷卻工質(zhì)在吸收或釋放熱量過程中可能保持液相或產(chǎn)生氣液相轉(zhuǎn)化的特性,可將冷卻工質(zhì)區(qū)分為單相冷卻工質(zhì)和兩相冷卻工質(zhì)。對于在整個運行過程中保持單一液態(tài)的冷卻工質(zhì)稱之為單相冷卻工質(zhì),通常包含水基冷卻工質(zhì)和非水基冷卻工質(zhì)兩類。
水基冷卻工質(zhì)中,以純水為溶劑,不添加任何其他材料或只依據(jù)耐零下溫度需求添加一定比例(0%~60%)防凍劑構(gòu)成的,為純水液,需要配合工質(zhì)純化模塊使用;以純水為溶劑,添加緩蝕劑、殺生劑等,并依據(jù)耐零下溫度需求添加一定比例(0%~60%)防凍劑構(gòu)成的,為配方液,使用時需要定期取樣檢測添加劑狀況。非水基冷卻工質(zhì),一般為沸點不低于水的氫氟醚、全氟碳等介電液體或礦物油,使用時需在浸潤材料兼容性上應(yīng)進行嚴格審查和測試。
對于在吸熱和放熱過程中會發(fā)生氣液兩相轉(zhuǎn)換的液體,稱之為兩相冷卻工質(zhì)。兩相冷卻工質(zhì)的沸點通常較低,主要通過液體的氣化潛熱吸收熱量,在循環(huán)中形成攜帶熱量的兩相流。兩相冷卻工質(zhì)通常是介電液體或冷媒。不同兩相冷卻工質(zhì)的沸點通常不同。
冷板式相變液冷技術(shù)的冷板有時也被稱為蒸發(fā)器。在本文中,冷板指用于單相冷卻工質(zhì)或兩相冷卻工質(zhì)的冷板,冷卻工質(zhì)指單相或兩相冷卻工質(zhì)。冷卻工質(zhì)和所有暴露在冷卻工質(zhì)中的材料(稱為浸潤材料)之間必須具有相容性,以降低在長期工作環(huán)境下腐蝕、加速老化、滲透等風險。且即使在確保冷卻工質(zhì)和所有浸潤材料相容,在實際操作中仍然需要定期檢查冷卻工質(zhì),以確保冷卻工質(zhì)的品質(zhì)穩(wěn)定可靠。
六、冷量分配單元
冷量分配單元的主要作用是隔離一次側(cè)與二次側(cè)回路,并在其內(nèi)部提供一次側(cè)與二次側(cè)的熱交換能力。冷量分配單元主要分為機架式(嵌柜式)、機柜式和平臺式等。機柜式 CDU 通常為一個或多個 IT設(shè)備的機架甚至整個機房提供冷卻,具備比機架式 CDU 所需更大的冷卻能力和供液能力。平臺式 CDU 通常是一種帶有更大冷卻能力和供液能力的 CDU 類型,最大冷卻能力可達到 10MW 以上,可以為整個數(shù)據(jù)中心提供冷卻。為避免 CDU 故障造成冷量不足,需要結(jié)合實際情況充分考慮 CDU 的 N+1、N+2 冗余備份,或?qū)?CDU內(nèi)部的泵驅(qū)模塊進行 N+1 冗余設(shè)計,以確保足夠的冷量用于冷卻 IT設(shè)備,或構(gòu)成冗余設(shè)計實現(xiàn) CDU 的可在線維護。
CDU 中通常包含熱交換模塊、一二次側(cè)過濾組件、二次側(cè)泵驅(qū)模塊、定壓脫氣模塊、定壓補液模塊、恒溫恒壓監(jiān)控模塊、漏液檢測模塊、冷卻工質(zhì)品質(zhì)參數(shù)(電導率、pH)檢測模塊、控制系統(tǒng)、防凝露及去離子裝置等。其中,二次側(cè)過濾組件的過濾能力須匹配冷卻回路中對顆粒最敏感的部件,如自封式快換接頭和微通道冷板的需求,以確保冷卻工質(zhì)中潛在的顆粒不會在流體回路中造成堵塞,并阻止冷卻工質(zhì)的流動,或插拔時部件失去自封能力。建議過濾精度為 50 微米。
七、機架式冷卻工質(zhì)供回液歧管
冷卻工質(zhì)供回液歧管主要功能是將從 CDU 分配進入各機架內(nèi)的冷卻工質(zhì)再次均勻分流到各 IT 設(shè)備,并從冷板出液端收集回流液體。歧管必須能夠提供符合 IT 設(shè)備需求的冷卻流量,確保機架內(nèi)冷卻工質(zhì)流量分布均勻,保障 IT 設(shè)備可在線移出或接入液冷系統(tǒng)。這些因素在設(shè)計中必須仔細考量。
八、自封式快換接頭
自封式快換接頭(QD)用于幫助維護人員檢修而提供快速連接,或斷開IT 設(shè)備或其組件與液冷系統(tǒng)的連接并確保具備自封功能,進而確保冷卻工質(zhì)不會泄漏,液冷系統(tǒng)運行不受影響,IT 設(shè)備可持續(xù)安全運行。自封式快換接頭一般有兩種設(shè)計,即手動插拔式和盲插式。手動插拔式是需要人為手動握住快換接頭,進行插拔連接操作的接頭設(shè)計,可分為單手插拔和雙手插拔式,因為涉及手動插拔動作,需要保證足夠插拔操作空間。而盲插接頭是一種通過壓力將公母頭插入導通或拔開斷開,無需手動操作的接頭設(shè)計,需要通過精確的滑軌設(shè)計或定位銷來輔助定位連接,并要保持導通所需的壓力,以避免公母頭滑移導致接頭液路斷開。
審核編輯 黃昊宇
-
數(shù)據(jù)中心
+關(guān)注
關(guān)注
16文章
4835瀏覽量
72262 -
深度學習
+關(guān)注
關(guān)注
73文章
5511瀏覽量
121354
發(fā)布評論請先 登錄
相關(guān)推薦
評論