PART01

摘要

隨著IT芯片功率密度日益增加，行業對能效的持續關注以及惡劣的邊緣計算環境等新IT應用的出現，都在推動對液冷技術的興趣和部署。在本白皮書中，我們將介紹液冷的基本原理，探討其與傳統風冷相比的優勢，并詳述冷板式液冷和浸沒式液冷的五大方法。為了幫助指導針對特定需求選擇適當的液冷方法，我們將解釋必須考慮的關鍵特性。

PART02

簡介

IT設備技術的變化一直是基礎設施中制冷解決方案研發的主要驅動力。盡管液冷已在大型主機和高性能計算（HPC）中部署多年，但當今對云、物聯網、人工智能和邊緣應用的需求再次引發IT技術的變化，這迫使人們重新審視液冷及新技術的研發。對數據中心能效和可持續性的關注日益增加，也使數據中心行業所面臨的壓力不斷增加，要求其開發和采用液冷系統等高效的制冷基礎設施。

數據中心所有者和設計人員經常對液冷的一些基本問題存在疑惑，比如：

?為什么液冷在傳熱方面優于風冷？

?液冷解決方案包括哪些類型？

?每種液冷方法的優缺點是什么？

?應該依據哪些標準在不同的液冷技術之間做出選擇？

這里，我們將解答上述問題，并提供如何選擇適合您應用的液冷方法的相關指導。

風冷VS液冷

IT設備散熱的主要方法是將氣流流經設備機箱。對于常規的服務器，70%-80%的熱量由CPU產生，其余熱量則來自外圍設備，例如內存、電源、機械硬盤、固態硬盤（SSD）等。隨著圖形處理器（GPU）的使用日益增加，IT機箱內部產生的熱量也在進一步增加。一塊GPU芯片的功率可以超過400瓦，和英特爾最新一代的至強處理器這樣的多核CPU的400瓦功率基本持平。

在同樣單位體積下，液體吸收熱量的能力更高。因此液冷技術能夠更高效地散熱，以及讓芯片能夠更高效地工作（例如，提升時鐘頻率）。此外，熱量可以通過干冷器，或者通過冷卻塔（在溫度較高的環境中）散發到大氣中。有時，熱量可以轉移到其他地方（例如區域供熱）循環利用。我們在附錄中提供了水和空氣之間傳熱能力的詳細比較。

PART03

液冷方法

液冷對于數據中心應用來說并非新鮮事物。液冷的最初使用可以追溯到上世紀60年代，當時在IBM大型主機中用于解決固態設備的散熱難題，這些固態設備包裝緊湊且容許的工作溫度較低。不過，在上世紀90年代初，隨著互補金屬氧化物半導體（CMOS）技術的出現，取代了雙極型半導體技術，功耗也隨之降低。結果，氣流對流冷卻再次成為IT設備默認的制冷方式。

目前，氣流對流冷卻在數據中心中仍占主導地位，但是液冷在電競游戲、區塊鏈挖礦和高性能計算（HPC）應用等需要采用更高算力的特殊服務器的場合中，得到了更廣泛的采用。液冷尚未在整個數據中心行業得到更廣泛的采用，主要原因在于通過增加邏輯核心數量來保持合理的功率極限，已能夠滿足計算需求。此外，數據中心行業普遍較為保守，新技術和架構的普及緩慢。

液冷主要分為兩類：芯片級液冷（有時稱為導熱或冷板）和浸沒式液冷。如圖1所示（橙色框），這兩個類別共包含五種主要的液冷方法。在本節中，我們將詳述每種方法。

圖1-液冷分類

芯片級液冷–單相

芯片級液冷是在服務器內部通過芯片頂部的冷板將冷卻液直接流經溫度較高的服務器芯片（CPU或GPU）。IT設備的電子元器件不會與冷卻液直接物理接觸（參見圖2）。部分設計還會為內存模塊也安裝散熱冷板。使用這種方法的時候，仍然需要采用風扇提供穿過服務器的氣流，以帶走剩余的熱量。這意味著傳統的風冷基礎設施可以減少，但仍然需要。

圖2 芯片級液冷示意圖–單相

可以使用水或絕緣液作為流經冷板的冷卻液。如果使用水，出現泄漏時有宕機風險，但是諸如防漏系統（LPS）之類的解決方案可將水回路保持在微真空狀態，以降低IT設備內的泄漏風險。

安裝在機柜背面的分液器將流體配送至IT設備，類似于機架式PDU供電。服務器和分液器之間的接口通常是通過防泄漏和防滴漏接頭實現，以確保裝置的清潔和安全。單相意味著流體在散熱時不會改變其形態。對于芯片級液冷，主要使用單形態的水基冷卻劑，但某些設計使用人工絕緣液。

芯片級液冷–兩相

此方法類似于上述方法，不同之處在于流體會有兩種形態，也就是說流體在散熱時會從一種形態變為另一種形態，例如從液態變為氣態，從而帶走熱量。在散熱方面，兩相優于單相，但需要額外的系統控制用于確保正常運行。對于兩相芯片級液冷，會使用人工絕緣液。這有助于消除IT設備進水的風險。絕緣液蒸氣可以輸送到室外的冷凝器，也可以將其熱量排到樓宇水回路中。圖3為此方法的圖解。

圖3芯片背板液冷–兩相示意圖

浸沒式液冷–IT機箱–單相

采用浸沒式液冷時，冷卻液與IT電子元器件直接物理接觸。服務器完全或部分浸入絕緣冷卻液中，使其覆蓋主板和元器件，以確保所有熱源的熱量都被轉移。此方法使用單相絕緣液。借助浸沒式液冷，服務器內可以無需使用任何風扇，并將所有電子設備置于受外部溫度影響較慢，而且不受濕度和污染物影響的環境中。由于無需使用風扇，因此這種冷卻方式可實現近乎無噪音運行。

圖4為IT機箱單相浸沒式液冷方法。服務器封裝于密封機箱中，可作為普通機架式IT設備或獨立設備。電子元器件由絕緣液進行冷卻，可通過傳導和自然對流被動降溫，或者通過服務器內的循環泵（強制對流）降溫，或兩者結合使用。換熱器和泵可置于服務器內部，也可以安裝在側面，在這里，熱量將從絕緣液傳遞到水回路。

圖4浸沒式液冷–IT機箱–單相示意圖

浸沒式液冷–水池–單相

使用水池方法（也稱為開放式水箱）時，IT設備完全浸沒在流體中。在傳統的IT機柜中，服務器從機柜的底部到頂部水平堆疊。但是，這種方法使用的是水池，因此就像將傳統服務器機架橫放一樣。浸沒在水池中的服務器是通過垂直方式進行插拔，而不像普通機架是水平方式插拔。圖5所示為此方法的示意圖（橙色箭頭顯示將服務器在水池中插拔的方向）。這種方法多數采用集中式供電，同時向水池內的所有服務器供電。使用泵或自然對流，通過換熱器將絕緣液中的熱量傳遞至水回路。此方法通常使用油基絕緣液作為流體。注意，換熱器可以安裝在水池的內部或外部。

圖5浸沒式液冷示例–水槽–單相示意圖

浸沒式液冷–水池–兩相

和單相水池方法一樣，將IT設備完全浸沒在流體中。這種方法的不同之處在于采用兩相絕緣液冷卻劑。這也意味著流體在散熱時會從一種形態變為另一種形態，例如從液態變為氣態，從而帶走熱量。圖6為這種體系結構的圖解。由于需要相變，因此必須為人工合成流體。

圖6 浸沒式液冷示例–水槽–兩相示意圖

PART04

需要考慮的11個特性

了解五種主要液冷方法的優缺點，可以幫助數據中心業主為其數據中心選擇合適的解決方案。在本節中，我們將詳述在針對特定業務需求確定最佳液冷方法時需考慮的11個重要特性。

1.投資成本

在評估液冷時，必須考慮整體設施和IT系統的成本。如果是新建的設施，可以針對液冷進行優化，并利用溫水并通過流體冷卻器直接散熱，與風冷相比，則可以節省投資成本。如果想要在已有的風冷設施中部署液冷IT設備，改造成本可能更高。但是，在數據中心擁有擱淺的供電和空間容量時（當制冷系統達到100%負載但UPS負載遠低于100%且空間利用率也低于100%時，就存在擱淺的電源容量和可被利用的空間。），液冷可以充分利用這些被擱淺的供電和空間。

?芯片級液冷：50%-80%IT設備的熱量可通過液冷捕獲。將水引入每個機柜并將其分配到每個服務器會使成本增加，但這部分成本可以通過減少傳統冷水機組、精密空調及變壓器和開關柜等輔助供電系統設備的使用而得到抵消。

?浸沒式：超過95%的熱量通過液體散熱，從而有助于大幅減少傳統制冷系統的使用。IT設備會因為使用流體，特別是人工合成的流體而導致成本增加，因此，必須根據部署的浸沒式技術來了解這一權衡方案。

2.能源成本

與風冷相比，液冷一直都以可提供卓越能效而著稱。超大規模數據中心運營人員已經能夠讓風冷數據中心獲得出色的電源使用效率（PUE），但通常是在良好的氣候條件及水資源豐富的情況下才能做到這一點。液冷的另一個考慮因素是降低IT風扇能耗。這可以節省4%-15%的能耗，但有可能會使PUE更差，但總電費會減少。與芯片級液冷相比，浸沒式液冷略有優勢，因為后者無需使用任何IT設備風扇。此外，采用浸沒式液冷時，所需要的風冷將減少，因此精密空調的風扇也減少。液冷可以利用45°C/113°F的水進行冷卻，在眾多氣候條件下，一年中的大部分時間都可以使用無需壓縮機的制冷方式。對于通常使用風冷DX系統的邊緣應用，液冷的節能效果更為顯著。

3.可維護性

風冷系統的應用已有數十載，因此數據中心運營人員對此系統極其熟悉，但是液冷對于大多數運營人員而言仍是新事物。盡管設施人員可以從減少電源和制冷設備維修和維護中受益，但是IT人員必須實施新的流程來對IT設備進行維護。

?芯片級液冷：它與風冷服務器類似，因為大多數組件都能以相同方式進行維護。讓這些組件易于維護的關鍵是采用防滴漏連接器，以確保服務器能夠像傳統的風冷服務器一樣從機柜中抽出進行維護。

?浸沒式液冷：這需要新的流程，有時需要新的設備。采用油槽時處理難度較高，原因在于拆卸和維護IT設備時很難清除上面的油。人工合成液體的處理難度小于油，但由于液體成本較高，因此必須注意確保液體清潔并盡可能減少損失/蒸發。

基于機箱的浸沒式冷卻解決方案旨在以熟悉的外形尺寸和服務流程（如與標準風冷技術配合使用的尺寸和流程）來提供液冷。當液體仍在機箱中時，也可以完成簡單的維護任務。主要維護工作需要抽空液體。本白皮書的主要關注點是關于IT設備的部署、操作和維護的簡易程度。注意，由于浸沒式液冷為IT組件提供更溫和的環境，因此使用此方法可以提高IT設備的可靠性。

4.機柜功率密度/可壓縮性

風冷可以支持機柜平均功率密度達到20kW/機柜以上，但要實現這樣的水平需要大量的人工和成本支出。芯片級液冷和浸沒式液冷均可輕松處理20kW/機柜的密度，并且有能力支持超過100kW/機柜的密度。浸沒式液冷可以實現更高的密度，因為不需要考慮IT設備內部空氣流動的問題。

芯片級液冷和浸沒式液冷均可提供優于風冷的顯著可壓縮性效果。芯片級液冷和基于機箱的浸沒式液冷能夠采用與傳統的機柜相同的垂直服務器安裝形式。

5.耗水量

許多風冷數據中心依靠配有冷卻塔的蒸發冷卻系統來實現低PUE。但這會消耗大量的水。在世界許多地方，這已經成為問題。由于液冷可以使用溫度為45°C/113°F甚至更高溫度的溫水，因此可以消除或大幅減少蒸發冷卻，同時仍能達到較高的效率。由于浸沒式液冷相比芯片級液冷可以帶走更多的熱量，因此該方法能夠讓數據中心大幅減少耗水量。

6.惡劣的環境

浸沒式液冷不需要任何氣流，且與外部環境隔離，它幾乎可部署于任何地點。與風冷相比，這是一個優勢，而且有可能推動在環境惡劣邊緣地點中使用浸沒式液冷IT設備。

7.風扇噪音/空氣流動

任何在運行中的數據中心內工作的人員都對IT設備和精密空調的噪音不陌生。對于部分IT應用（如有人使用的辦公室或無塵室），維持安靜的環境和避免空氣流動都是非常重要的因素。芯片級液冷僅需要少量氣流，從而大幅降低IT設備和精密空調風扇的轉速，進而降低噪音。浸沒式液冷無需風扇，因此，除了用于絕緣液的循環泵，即可在室內實現近乎無噪音運行。

8.機房布局

由于浸沒式液冷不需要氣流流經IT設備，因此它為數據中心白區以及邊緣區域帶來更大的靈活性。不再需要布置冷熱通道。可采用背對背機柜行布局。這樣可以將IT設備置于風冷可能無法使用的位置。這在空間有限的設施中可能是一個較大的優勢。

由于芯片級液冷IT設備仍然需要使用風扇，因此仍需要采用傳統布局。此外，任何使用機箱形式的外觀特征，可以輕松與現有數據中心布局相匹配，這在某些情況下可能是一個優勢。

9.改造IT設備的能力

從制造角度來看，對生產液冷服務器感興趣的IT制造商需承擔不同程度的設計工作。芯片級液冷是對現有風冷服務器改造為液冷的理想之選。需要對IT設備進行小幅改動。此舉能夠讓現有的供應鏈幾乎保持不變，僅需增加冷板和管路即可。而另一方面，浸沒式液冷服務器需要從頭開始設計，要執行時間更長的產品開發項目。盡管如此，這種方法為IT設備設計人員提供了更大的自由度，因為它們不受風冷組件的限制。從現場改造的角度來看，浸沒式液冷需要為IT設備配備水槽或新的機箱，因此改造成本更高。如果將基于機箱的浸沒式制冷技術引入現有的數據中心，則可以非常輕松地與芯片級液冷及風冷系統配合運行。浸沒式液冷IT設備尚不適合許多配置。

10.可擴展性

芯片級液冷和基于IT機箱的浸沒式液冷均能夠以較小的增量實現擴展。基于水槽的浸沒式液冷需要部署整體水池和流體，盡管IT設備可以在水槽內逐步部署。另一個需要考慮的因素是了解整體設計中的單點故障。

11.流體的權衡

在液冷方法中使用的流體類型是確定其部署適用性時需要考慮的重要因素。這些是直接冷卻IT設備熱量的流體。三大類別如下：

?水基

?烴基油（絕緣液）

?人工合成流體（絕緣液）

這三種流體的特征各不相同，包括傳熱性能、成本、安全、材料兼容性、使用壽命、可維護性和可持續性。表1提供了哪些流體適合本白皮書所述的5種液冷方法。

表1與液冷架構相互兼容的流體

材料兼容性：在任何使用水的系統中，減少腐蝕并保持水質是非常重要的考慮因素。某些材料不兼容，可能導致早期故障。目前冷凝水系統已經經過數十年的設計和運行，已經成為眾所周知的散熱系統。對于芯片級液冷，過濾非常重要，因為許多冷板都是采用毛細管道，如果水質較差容易產生堵塞。對于浸沒式液冷，與IT組件的兼容性至關重要。主板上紙標簽脫落，以及增塑劑從電纜中滲出一直是某些油和人工合成流體存在的問題。

成本：對于絕緣液，油的成本遠較比人工合成流體低廉。所需的絕緣液體積因技術提供商而異。

使用壽命：與人工合成流體相比，油的使用壽命往往更短。流體的更換頻率將對總體擁有成本產生影響。

安全：閃點、著火點、自燃點和毒性是重要的考慮因素，尤其是在考慮設施的投保性時。例如，礦物油易燃，需要安全預防措施以防止起火。

環境：臭氧消耗潛能值（ODP）和全球變暖潛能值（GWP）是需要考慮的兩大因素。這些數值不能孤立來看，而是隨著使用方法和氣化的速率會影響向環境的釋放。密閉式vs.開放式系統、可回收性等均起到一定作用。

PART05

結論

盡管當下的數據中心和邊緣環境仍以風冷為主，但我們看到對采用液冷的興趣和價值正日益增加。云、物聯網、人工智能和邊緣技術的應用正推動芯片和機柜功率密度的不斷提升。行業也持續關注能效和成本。對于許多應用而言，液冷是最佳的制冷解決方案。芯片級液冷和浸沒式液冷是液冷的兩大類別，與風冷相比，它們對數據中心所有者而言更具優勢。在本白皮書中，我們解釋了這些方法之間的差異。

對于改造機房，基于機柜的解決方案（例如芯片級液冷和基于機箱浸沒式液冷）提供最簡單的改造。對于新建機房以及處于惡劣環境中的機房，浸沒式液冷是更優的解決方案，因為它可以帶走所有熱量，并將IT設備與周圍空氣隔離。

如若讓液冷在數據中心行業得到更廣泛的應用，還需要進一步的努力，但是我們相信，未來幾年這項技術將在數據中心和邊緣應用中占有一席之地。

PART06

附錄

與諸如水之類的液體相比，空氣的導熱能力遠遠不如液體。實際上，在非對流環境中，空氣是良好的隔熱體。水有著更高的密度和每單位體積的熱容量。表A1提供了空氣和水之間的熱導率和熱容量的比較，結果顯示水的熱導率是空氣的23倍以上，并且其可以吸收的熱量遠遠大于空氣，按單位體積計算約為3,243倍。

表A1 空氣和水之間的比較

非純水具有導電性，因此不能用于直接冷卻IT組件。相反，采用絕緣液（例如礦物油和人工合成的絕緣液冷卻劑），可以與運行中的電氣組件直接接觸，從而發揮其卓越的散熱能力。一個已經使用多年的例子，就是變壓器中使用的油，可以有效地將內部線圈和機芯的熱量傳遞到外殼。

審核編輯 ：李倩