NVIDIA H100 SXM5 trekt 700 W bij full FP16/BF16-training. B200 SXM volgt met 1 000 W. GB200 in een NVL36-rack 132 kW. Deze getallen liggen voorbij de grens van wat air cooling fysiek aankan — niet economisch, niet efficiënt, maar fysiek. Dit artikel gaat over hoe de besluitvorming verloopt wanneer u voor een 8-node H100-cluster staat of een eerste B200-deployment plant, en waarom two-phase immersion de afgelopen 18 maanden is gestorven.
Waarom air cooling boven 30 kW/rack stopt
Air cooling werkt volgens het principe: de chip geeft warmte af via koperen heatpipes → heatsink fins → ventilatorgedreven lucht → CRAC-unit koelt de lucht → herhalen. De fysische warmtetransportvergelijking:
Q = ṁ × cp × ΔT
Waarbij Q de af te voeren warmte is (W), ṁ het luchtdebiet (kg/s), cp de specifieke warmtecapaciteit van lucht (1 005 J/kg·K) en ΔT het verschil tussen uit- en inlaatlucht.
Voor een 30 kW-rack bij ΔT = 15 K hebt u nodig:
ṁ = 30 000 / (1 005 × 15) = 1,99 kg/s = ~1 650 m³/u lucht
Dat betekent ventilatoren in het rack + CRAC die samen 3,5–4,5 kW alleen al voor ventilatie verbruiken. Bij een 60 kW-rack zou u twee keer zoveel lucht nodig hebben — 3 300 m³/u, wat al 90+ dB geluid betekent en een fysieke chassisbeperking (er passen niet meer ventilatoren in). De ventilatie alleen zou 8–11 kW verbruiken. PUE voor puur air bij een 60 kW-rack daalt feitelijk naar 1,8–2,2 — economisch onhaalbaar.
De boundary layer chip → heatsink-junction is een aanvullende beperking: bij H100 moet de chip junction temperature onder 87 °C blijven, ambient air naar CRAC max 27 °C, dus ΔT over het hele pad is 60 °C. Voor een 700 W-chip op 7 cm² die area is de warmteflux 100 W/cm². Lucht kan dat bij redelijke snelheden (3–6 m/s) niet efficiënt afvoeren — vanaf 50 W/cm² wordt liquid cooling noodzakelijk.
Praktische grens: boven 30 kW/rack verliest air cooling economisch zin, boven 50 kW/rack verliest het fysiek zin.
Direct-to-Chip (DTC) — hoe het echt werkt
DTC = een cold plate direct op CPU en GPU; vloeistof (meestal propyleenglycol-water 25:75 of PG 30:70) stroomt door microchannels in de cold plate. De vloeistof neemt warmte op en gaat naar een CDU (Coolant Distribution Unit), die de warmte aan een secundaire loop overgeeft — typisch facility water dat naar een chiller of dry cooler gaat.
Topologie in een reëel 8-node H100-cluster
- 8× DGX H100 of 8× HPE Cray EX H100 — elke node trekt 10,2 kW (8× H100 SXM5 + 2× Sapphire Rapids CPU + DPU + NIC + PSU-losses)
- Rack TDP: ~85 kW (8 nodes + 2× InfiniBand switch + storage chassis)
- DTC-coverage: GPU SXM5 + CPU. NIC + DPU blijven air-cooled (12–15 % residuaalwarmte)
- CDU per rack: Asetek RackCDU D2C of CoolIT CHx650, capaciteit 100–150 kW per CDU
- Secundaire loop: facility water 32–40 °C input → 45–55 °C output (W4 ASHRAE liquid cooling-envelope)
- Warmteafvoer: dry cooler in EU-klimaat (geen chiller nodig bij 32 °C+ water) — free cooling het hele jaar bij correct ontwerp
Top DTC-vendors in 2026
Asetek - RackCDU D2C generation 4 — meest uitgerolde DTC-ecosysteem - Cold plates voor H100, B200, GB200, Intel Xeon, AMD EPYC - CDU-capaciteit 80/120/200 kW - Retrofitprijs: 5 800–7 200 EUR / rack voor cold plates + manifold + quick disconnect - CDU-prijs: 18–28 k EUR per 120 kW-unit
CoolIT Systems - AHx-serie (Asetek-style) + CHx-serie (server-level integrated) - Voor OEM (HPE Cray, Lenovo Neptune, Dell PowerEdge XE9680L) - Hogere OEM-integratie, minder retrofit-kits - Prijs: meestal onderdeel van de OEM-serverquote, +3–4 k EUR/server t.o.v. air-variant
Submer DTC (voorheen CoolIT Direct-to-Chip) - Oorspronkelijk een immersion-vendor, nu ook DTC-producten - Outdoor CDU-varianten met air-cooled rejection (geen facility water nodig) - Prijs: 6 500–8 000 EUR / rack
Motivair - Specialisatie in high-density HPC-retrofits - ColdPort-technologie (voor HPE Cray EX) - Prijs: vooral project-based, 30–80 k EUR per cluster
Reële benchmark — 8-node DGX H100-cluster
In een project dat we hebben geaudit (greenfield AI lab bij München, volledig in productie in Q4 2025):
| Parameter | Air-cooled DGX H100 | DTC Asetek-retrofit |
|---|---|---|
| Server-TDP per node | 10,2 kW | 10,2 kW |
| Cooling power per node | 1,4 kW (fans + CRAC-aandeel) | 0,28 kW (residual fans + CDU-pomp-aandeel) |
| PUE van het hele cluster | 1,45 | 1,08 |
| Jaarverbruik (8 nodes) | 715 MWh | 535 MWh |
| Bij 0,18 EUR/kWh | 128 700 EUR/jaar | 96 300 EUR/jaar |
| CAPEX-delta | baseline | +52 000 EUR (8 racks DTC + CDU) |
| Payback | — | ~19 maanden |
Bij B200 en B300 wordt dit voordeel verder versterkt (hoger TDP → hogere verhouding warmte via liquid t.o.v. air).
Immersion — single-phase reality
Single-phase immersion = de gehele server (zonder fans) ondergedompeld in een diëlektrische vloeistof (Submer SmartCoolant, ShellLubri DCT 16, Castrol DC iX). De vloeistof stroomt door de tank, komt binnen op 35–45 °C, verlaat op 45–55 °C.
Capaciteit en PUE
- Submer SmartPodX: 100 kW per tank, footprint ~2 m²
- Asperitas AIC24: 50 kW per tank
- GRC ICEraQ Quad: 168 kW per quad-tank
- PUE: 1,03–1,06 (best in industry)
Reële beperkingen
- 1.Server-formfactor. Niet elke server gaat in immersion. Een NVIDIA HGX H100 8-GPU baseboard werkt, maar de fans moeten verwijderd worden en de thermal interface opnieuw met een immersion-specifieke gap pad (ShellLubri SC2). Sommige OEM's (Supermicro, Inspur) bieden immersion-ready varianten; HPE Cray EX niet.
- 1.Onderhoud. Een server uit de tank halen betekent: uitschakelen, 10–15 minuten wachten op drip-off, server met de kraan ophijsen (typisch 30–50 kg + 8–12 kg vloeistof erin), naar een servicetafel brengen. De operatie duurt 45–90 minuten in plaats van 5 minuten zoals bij air-cooled hot swap.
- 1.Bekabeling. Optische kabels met PVC-jacket degraderen in sommige vloeistoffen. Vereist LSZH (Low Smoke Zero Halogen) of PTFE-jacket. Kostenopslag op bekabeling 1,5–2× t.o.v. standaard.
- 1.CAPEX: 25–40 k EUR / rack (tank + vloeistof + CDU-secundaire loop). Voor een 8-rack cluster is het verschil 200–320 k EUR t.o.v. DTC.
Wanneer single-phase immersion wint
- Extreme dichtheid. GB200 NVL72 in greenfield — 132 kW in één NVL-rack; DTC zou een custom CDU-sizing vereisen, immersion absorbeert dit natively.
- Edge deployment met ruimtebeperking. 200 kW IT-load in een 20 ft-container — air cooling past niet, DTC past maar krap, immersion is het compactst.
- Greenfield met 5+ jaar horizon. De CAPEX-delta wordt geamortiseerd via OPEX (PUE 1,05 vs 1,08).
Voor brownfield retrofit van een bestaand DC met air-infrastructuur is single-phase immersion bijna altijd een slechte keuze — formfactor change + service-onderbreking + cabling rebuild + retraining voor onderhoud.
Two-phase immersion — waarom het stierf
Two-phase = de vloeistof gaat bij contact met de hete chip over in gas, condenseert op een koelslang boven de tank en druppels vallen terug. Het meest efficiënte fysische warmtetransport-principe — passief, geen mechanisch bewegende delen in de primaire loop.
In 2020–2023 werd two-phase als SOTA beschouwd: PUE 1,02, capaciteit 200–300 kW per tank, geen mechanische beweging in de primaire loop. 3M Novec 7100, 7500, 649 waren de vlaggenschip-vloeistoffen — perfluorinated, met goede thermische eigenschappen, milieukundig "veilig".
Realiteit 2024–2026: - December 2022: 3M kondigde het einde van productie van alle PFAS (per- and polyfluoroalkyl substances) per eind 2025 aan. - 2023: EU REACH-voorstel voor PFAS-restrictie (meer dan 10 000 chemicaliën, inclusief Novec). De definitieve restrictie wordt waarschijnlijk 2026–2028 van kracht. - 2024: De prijs van Novec 7100 steeg van 65 EUR/kg naar 180–220 EUR/kg, beschikbaarheid beperkt tot bestaande klanten. - 2025–2026: Geen grote vendor (Submer, Asperitas, GRC) verkoopt nog een nieuw two-phase systeem. Bestaande installaties worden onderhouden, maar de roadmaps zijn overwegend single-phase.
Vervangende vloeistoffen (LiquidCool LCS-CF-serie, Engineered Fluids ElectroCool) zitten in pilotfases. Voor een productioneel greenfield cluster in 2026 is two-phase geen realistische keuze — vendor support, regelgevingsrisico en lange-termijn vloeistofbeschikbaarheid.
CDU-sizing — een vuistregel die iedereen toepast
De CDU (Coolant Distribution Unit) is het hart van een DTC-deployment. Een warmtewisselaar tussen de primaire (server-) loop en de secundaire (facility water-) loop. Pompen zitten in de primaire loop.
Vuistregel
- Per-rack CDU: 1× CDU per rack bij 50–100 kW per rack. Single point of failure per rack, maar eenvoudige architectuur. Asetek RackCDU D2C 50.
- Per-row CDU: 1× CDU voor 4–6 racks, in totaal 200–500 kW. Beter economisch schalen, maar een failure raakt de hele row. Asetek CoolIT CHx650.
- Central CDU: 1× CDU voor het hele DC (1+ MW). Beste economische schaling, vereist gesofistikeerde plumbing met duizenden quick disconnects.
N+1-redundantie
Voor een AI-training-cluster dat 24/7 draait en waar een verloren checkpoint 8–24 uur training kost, is CDU-redundantie verplicht. N+1 betekent: bij een 100 kW-load hebt u 2× 100 kW CDU in active-passive, of 3× 50 kW CDU in active-active load sharing.
CAPEX-delta: +35–60 % op cooling-infrastructuur. Terugverdientijd: de eerste CDU-pump-failure (typisch elke 5–7 jaar bij standaard onderhoud).
Leak-risico en verzekering
Meest gestelde zorg van klanten: "wat als de vloeistof op de servers lekt?"
Realiteit na 5 jaar DTC-uitrollen (data van twee verzekeraars die aggregated claims-data voor EU AI-infrastructuur deelden): - Leak-frequentie: 0,3–0,8 incidenten per 1 000 rack-jaar - Schade per incident: doorgaans < 5 % van de apparatuur (quick disconnect voorkomt catastrofaal lekken) - Mean repair time: 2–6 uur (drain, replace coupling, refill, test)
Ter vergelijking: een air-cooled DC heeft eigen failure modes (CRAC-failure, condensaatlek uit evaporator coils, ventilatiestop). Geaggregeerde downtime over 5 jaar is vergelijkbaar of lager bij een goed ontworpen DTC.
Verzekering: Allianz, Munich Re en AXA hebben sinds 2023 DTC-specifieke policies. De premie-delta t.o.v. air-cooled is ~3–8 % in de EU in 2026 — fors gedaald van de oorspronkelijke 15–20 % in 2020. Vereist: leak detection sensors (Aquasense, EcoFlux), automatische shut-off valves per rack, drip trays onder de CDU, gedocumenteerd emergency response plan.
Beslissingsraamwerk in 15 minuten
- 1.Welke GPU en welke dichtheid?
- H100 SXM5 single rack (8 GPU, ~85 kW) → DTC verplicht
- B200 8-GPU-baseboard (~120 kW per rack) → DTC of immersion
- GB200 NVL36/NVL72 (132–192 kW per rack) → DTC met een hoge-capaciteit-CDU of single-phase immersion
- 2.Brownfield retrofit of greenfield?
- Brownfield → DTC (bestaande servers kunnen geretrofit of vervangen worden door DTC-varianten), geen tank-verbouwing
- Greenfield met 5+ jaar horizon → overweeg immersion bij dichtheid > 100 kW/rack
- 3.Welke onderhoudsbelasting kan het team aan? DTC-onderhoud lijkt op air-cooled (hot swap blijft). Immersion vereist 6–12 maanden technische upskilling.
- 4.Welke facility water-input? Hebt u een bron < 35 °C (dry cooler in EU-klimaat, of een kleine chiller) → DTC ideaal. Niet → reken op chiller-plant-CAPEX.
- 5.Welk PUE-target? 1,08–1,12 → DTC. 1,03–1,06 → single-phase immersion (met hogere CAPEX-meerprijs).
- 6.Two-phase immersion? Schrap. Kom over 2 jaar terug, als non-PFAS-alternatieven productie-rijp worden.
Praktisch advies bij de tendering
Eis in een offerte voor AI-cluster cooling:
- Per-node thermal envelope: GPU junction temp budget, CPU junction temp budget, residual air cooling voor NIC/DPU
- CDU-sizing met 30 % reserve voor toekomstige GPU-upgrade (B300, R100)
- Facility water-specificatie: input/output temperatuur, flow rate, water chemistry (pH, conductivity, biofouling protection)
- Service-runbook: quick disconnect procedure, leak response, CDU-pump-failover-test
- Verzekering + garantie: hoeveel leak-incidenten dekt de vendor-garantie, welke verzekeringspremie raadt de leverancier aan
Bij een audit van een DGX H100-deployment in 2025 troffen we een klant-leverancier aan die een 80 kW-CDU bood voor 85 kW-racks. Bij full load (training Llama 3.3 405B fine-tune) draaide de CDU op 106 % van zijn capaciteit, het wateruitstroom-temperatuur ging van 50 °C naar 62 °C, de GPU junction temperature steeg tot 84 °C — 3 °C onder thermal throttle. Marginaal. Bij een zomerpiek met warm facility water (39 °C input) zou er thermal throttling optreden. 30 % reserve in CDU-sizing is non-negotiable.
---
*Wij doen AI-cluster-design + cooling-architectuur voor 8-node en grotere deployments, van H100 via B200 naar GB200. Plant u een cluster boven 500 kW IT-load, dan loopt de eerste design-workshop (4 uur) de DTC vs immersion-beslissing voor uw concrete build-out door met cijfermatige PUE- en CAPEX-vergelijking.*