データセンターにおける二相冷却の最新トレンドとは?
直接回答:两相冷却技术,特别是浸没式冷却和直接-to-chip(冷板)冷却,正从利基研究概念过渡到主流部署,因为它们能够处理超过1,000 W/cm²的热密度,这是传统空气冷却无法实现的。浸没式冷却因其整体设施热回收和极高密度而受到青睐,而直接-to-chip目前是现有AI集群的首选改造解决方案,因为其流体成本更低且维护更简单。到2027年,预计超过20%的新数据中心容量将采用某种形式的两相液体冷却,而2023年这一比例不到5%。
两相浸没式和直接-to-chip系统在操作上有何不同?
浸没式冷却将整个服务器(主板、CPU、GPU、电源)浸入介电介电流体浴槽中。流体在低温下沸腾(工程流体通常为50-60°C),在从液态变为气态时直接吸收热量。蒸汽上升,撞击罐盖中的冷凝盘管,然后恢复为液态。这是一个被动、热虹吸驱动的过程,罐内无需泵。
相比之下,直接-to-chip冷却使用直接安装在CPU或GPU芯片上的密封冷板。介电工作流体(通常是氟酮或专用制冷剂)流过板内的微通道。热量通过热界面材料(TIM)传导到板中,使流体蒸发。然后蒸汽被输送到远程冷凝器单元,这是一个独立的机架式换热器,将热量排放到设施水中。
关键的操作差异在于热路径。浸没式冷却的热路径较短(流体接触主板),但需要较大的罐体容积(每机架500-1,000升)。直接-to-chip通过TIM和冷板的热路径较长,但使用的流体少得多(每机架10-20升),并且可以在不排空罐体的情况下单独取出服务器。

实际的热性能极限和温度是多少?
两相系统的热性能由沸腾传热系数和系统的热阻定义。对于直接-to-chip,冷板可以实现0.01°C·cm²/W或更低的热阻。这意味着一个500W的GPU可以在流体饱和温度为60°C时保持75°C的结温。
浸没式冷却由于流体池对流,热阻略高,通常为0.02-0.04°C·cm²/W。然而,由于整个主板被浸没,系统同时从电压调节器、内存和网络交换机中移除热量,这是一个显著的优势。在实践中,浸没式系统可以处理每1U等效机箱2,000-4,000W的服务器热负荷,而直接-to-chip仅限于芯片面积,每个插槽处理1,000-2,000W。
流体饱和温度是主要的控制变量。对于典型的单相介电流体,沸点由流体化学性质决定。例如,3M Novec 649的沸点为49°C,而专用制冷剂如R1233zd(E)的沸点为18°C。工作温度必须与服务器组件限制匹配;大多数现代CPU可以在85°C的外壳温度下运行,这比流体沸点高出25-30°C的余量。这个余量对于流体在不导致芯片过热的情况下蒸发至关重要。
哪些行业首先采用两相冷却?
主要采用者是超大规模云提供商、AI训练设施和高频交易(HFT)公司。原因很简单:功率密度。一个标准的42U机架采用空气冷却可以散掉10-15kW。一个配备8x H100 GPU的AI训练机架可以消耗70-100kW。空气冷却在物理上无法在不产生巨大气流速度(导致声学噪声和振动)的情况下移动那么多热量。
HFT行业在2010年代初率先采用浸没式冷却,因为他们需要对CPU进行超频以实现超低延迟(微秒级),而冷却余量允许更高的时钟速度。如今,石油和天然气超级计算领域使用浸没式冷却进行地震数据处理。增长最快的是AI领域,NVIDIA等公司已认证其A100和H100 GPU适用于直接-to-chip和浸没式冷却。政府实验室和国家超级计算中心(例如EuroHPC JU)也在为其百亿亿次机器指定两相系统,这些机器需要30-60MW的冷却能力。

为什么选择浸没式冷却而非直接-to-chip?
当您的设施是新建或大规模棕地改造,且主要目标是最大化热回收或最大化机架密度时,选择浸没式冷却。浸没式冷却允许每个罐体达到100-150kW的机架密度。它还消除了100%的服务器风扇,节省了15-20%的服务器功耗。介电流体还能防止腐蚀和灰尘,将服务器寿命延长2-3年。
操作优势在于冷凝器回路。蒸发后的流体在50-60°C的温度下冷凝,这意味着设施水回水可以在45-50°C。这种高品质热量可以直接用于建筑供暖、吸收式制冷机或区域供热网络,实现1.02-1.05的电源使用效率(PUE)。
缺点是流体成本和重量。一个42U浸没式罐体需要800-1,200升介电流体。按每升15-25美元计算,仅流体成本就为每机架12,000-30,000美元。罐体本身增加500-800公斤的重量,需要加固地板。
为什么选择直接-to-chip冷却而非浸没式?
当您拥有现有的空气冷却数据中心,并且希望在不更换整个设施架构的情况下改造AI服务器时,选择直接-to-chip。直接-to-chip对服务器机箱的改动最小,只需新的冷板和流体连接。流体量小(每机架10-20升),因此资本支出显著较低。
可维护性更优。如果GPU发生故障,您可以关闭机架,断开流体管线,取出单个服务器,并在15分钟内更换。在浸没式冷却中,您必须将整个服务器从流体中吊出,让其排干(需要20-30分钟),然后进行维护。直接-to-chip还允许混合操作:您可以对内存和存储保持空气冷却,仅对高功率CPU和GPU使用两相冷却。
主要缺点是您仍然需要为其余主板组件提供空气冷却环境。这意味着您仍然需要CRAC单元,但它们可以缩小60-70%。系统PUE通常为1.10-1.15,高于浸没式,但远优于传统空气冷却的1.3-1.5。

系统组件和流体的成本差异是多少?
成本结构主要由介电流体和换热器主导。下表提供了200kW IT负载、10机架部署的实际成本估算。
| 组件 | 浸没式冷却(每机架) | 直接-to-chip(每机架) | 备注 |
| 介电流体(工程氟酮) | $15,000 - $25,000(800-1,200L,每升$15-25) | $2,000 - $4,000(20-40L,每升$80-100) | 直接-to-chip使用更高纯度的流体 |
| 罐体/机箱 | $8,000 - $12,000 | $0(服务器机箱改装) | 浸没式罐体为定制焊接铝 |
| 冷板和连接器 | $0(浸没式无需冷板) | $3,000 - $5,000(每8-GPU服务器) | 直接-to-chip冷板为镀镍铜 |
| 冷凝器单元(机架式) | $5,000 - $7,000 | $3,000 - $4,000 | 浸没式冷凝器更大(顶部安装) |
| 设施水回路集成 | $10,000 - $15,000 | $8,000 - $10,000 | 包括泵、阀门和干冷器 |
| 每kW初始总成本 | $190 - $295每kW | $80 - $115每kW | 基于每机架平均20kW |
| 年流体损失(蒸发/泄漏) | 体积的3-5% | 体积的1-2% | 直接-to-chip为密封回路 |
数据显示,浸没式冷却的初始成本是直接-to-chip的2-3倍,原因是流体量大。然而,浸没式冷却在冷却能源上节省$0.01-0.02/kWh,并消除风扇功耗,这可以在3-5年内抵消较高的资本成本。
流体管理和维护如何影响运营?
流体管理是最容易被忽视的运营挑战。在浸没式冷却中,流体因金属离子浸出和热分解而随时间降解。您必须每季度测试流体的酸度(pH)、介电强度(必须>40 kV/mm)和水分含量。如果介电强度降至30 kV/mm以下,您必须更换流体或使用带活性炭的过滤系统。
对于直接-to-chip,流体处于密封回路中,但处于压力下。您必须每6个月使用电子泄漏检测器检查制冷剂泄漏。芯片和冷板之间的热界面材料(TIM)也会因热循环而降解;您应每2-3年更换一次TIM,以保持0.01°C·cm²/W的热阻。
维护成本约为初始系统成本的每年5-8%。这高于空气冷却(3-4%),但低于GPU过热导致的停机成本,后者可能为每小时损失计算时间$500-1,000。
两相冷却能否与现有空气冷却设施配合使用?
可以,但有特定限制。直接-to-chip是现有机架的即插即用改造方案,前提是您的设施有冷冻水回路(7-12°C)或冷凝水回路(30-35°C)。远程冷凝器可以将热量排放到40-50°C的设施水中。如果您的设施水高于35°C,您需要安装一个次级泵撬和干冷器。
浸没式冷却更难改造,因为罐体较重,需要加固地板(至少1,500 kg/m²)。您还需要在罐体周围设置防溢堤。大多数现有数据中心的地板承重为600-800 kg/m²,因此您需要将罐体放置在荷载分散钢架上。
最实际的改造路径是在AI机架(占机架的20-30%)上部署直接-to-chip,其余保持空气冷却。这使您无需新建设施即可增加50-100kW的AI计算能力。
常见问题解答
两相冷却可以处理的最大热通量是多少?
直接-to-chip冷板可以处理单个芯片高达1,000 W/cm²的热通量。浸没式冷却处理较低的热通量(最高100 W/cm²),但从更大的表面积移除热量。对于700W GPU,需要直接-to-chip;浸没式更适合300-500W CPU和高密度内存。
介电流体对电子元件安全吗?
是的,工程流体如氟酮和专用氢氟醚是非导电的(介电强度>40 kV/mm),对焊料、PCB层压板和电容器化学惰性。它们也是不可燃的(ASDRA 1级)。它们可以溶解某些粘合剂和塑料,因此所有服务器组件必须经过材料兼容性验证。
两相冷却系统能使用多久?
硬件(罐体、冷板、冷凝器)设计寿命为10-15年。然而,流体需要每5-7年更换一次(浸没式,由于污染)和每8-10年更换一次(直接-to-chip,密封回路)。泵和阀门的平均故障间隔时间(MTBF)为50,000小时。
与空气冷却相比,PUE提高了多少?
典型的空气冷却设施PUE为1.35-1.50。直接-to-chip两相冷却实现1.08-1.12的PUE。浸没式冷却可以达到1.02-1.05的PUE,前提是废热被回收利用。较低的PUE直接转化为较低的运营成本和较小的碳足迹。
两相冷却可以用于电池储能系统吗?
可以,浸没式冷却正在电网储能锂离子电池组中进行测试。流体在快速充电期间吸收热量,防止热失控。电池电芯温度保持在25-35°C,均匀性为±2°C,与空气冷却相比,循环寿命延长20-30%。
在BQUQ,我们为两相冷却系统制造精密CNC加工冷板、浸没式罐体框架和定制散热器。凭借在东莞20年的经验,我们可以生产公差为±0.01mm的原型,并在12小时内交付紧急认证构建。联系我们获取免费的冷却回路设计工程审查。邮箱:sc@bquq.com,WhatsApp:+86 13713157787,www.bquq.com。


