Het einde van reactieve koeling bij vermogens van 100 kW en hoger.

Wanneer een cluster voor het trainen van kunstmatige intelligentie (AI) opstart, neemt de werkbelasting niet geleidelijk toe. De warmteontwikkeling schiet direct omhoog. Een rack vol krachtige GPU's schakelt in een fractie van een seconde van inactief naar maximaal gebruik, waardoor enorme hoeveelheden stroom worden verbruikt en intense hitte vrijkomt.

Decennialang beheerden datacenterbeheerders de thermische belasting reactief. Een sensor detecteerde een temperatuurstijging, waarna de faciliteit reageerde door ventilatoren harder te laten draaien, kleppen te openen of meer gekoeld water de ruimte in te pompen. Deze aanpak werkte prima voor traditionele bedrijfscomputers.

Die reactieve aanpak is tegenwoordig feitelijk achterhaald.

Naarmate de rackdichtheid de 100 kW overschrijdt, schieten traditionele koelmethoden tekort in het bijhouden van de enorme snelheid waarmee AI-systemen thermische pieken genereren. Luchtkoeling heeft een maximumvermogen van ongeveer 30 kW per rack. Om te overleven in het moderne AI-tijdperk, vertrouwen datacenters op vloeistof-vloeistof koelsystemen (CDU's) en directe koelsystemen voor de chip. Zelfs vloeistofkoeling schiet echter tekort als het besturingssysteem wacht tot de warmte zich aandient voordat het reageert.

Om dure apparatuur te beschermen en energieverspilling tegen te gaan, moeten datacenters hun strategie aanpassen. Ze hebben voorspellende koeling nodig voor AI. Door gebruik te maken van voorspellende belastingssignalen uit de IT-infrastructuur kunnen facility managers vloeistofcircuits voorkoelen en koelinstallaties bijstellen voordat de computerbelasting piekt.

De AI-krachtschokgolf: waarom 100 kW+ alles verandert

De werklast van kunstmatige intelligentie is uitzonderlijk hoog. In tegenstelling tot standaard webservers die te maken hebben met voorspelbare, golvende verkeerspieken, voeren machine learning-modellen tegelijkertijd enorme, parallelle verwerkingstaken uit.

Wanneer een data scientist een trainingssequentie voor een groot taalmodel (LLM) start, worden duizenden GPU's tegelijk ingeschakeld. Volgens rapporten van Data Center Dynamics (DCD) creëert deze plotselinge vraag een thermische "schokgolf" in het datacenter. Het stroomverbruik in een enkele serverkast kan direct stijgen van een paar kilowatt naar ruim 100 kilowatt.

Onderzoek van de JLL Global Data Center Outlook bevestigt dat deze snelle toename in rackdichtheid de nieuwe standaard wordt. Faciliteiten die voorheen gemiddeld 5 kW tot 10 kW per rack hadden, worden nu gemoderniseerd om 50 kW, 80 kW en meer dan 100 kW aan te kunnen, om clusters van Nvidia, AMD en op maat gemaakte chips te kunnen huisvesten.

Waarom luchtkoeling vastloopt

Bij 100 kW levert luchtkoeling niet langer een afnemend rendement op; het schendt de wetten van de thermische dynamica. Lucht heeft niet de dichtheid en warmtecapaciteit om de thermische energie af te voeren die wordt gegenereerd door de dicht opeengepakte AI-servers.

• Luchtstroomlimieten: Om een ​​rack van 100 kW met lucht te koelen, zou je orkaanachtige winden door de kast moeten laten waaien. Dit zou kabels uit hun aansluitingen rukken en delicate componenten beschadigen.
• Akoestische schade: Serverventilatoren die op volle snelheid draaien, produceren geluidsniveaus van meer dan 100 decibel. Hoogfrequente akoestische trillingen kunnen de prestaties van harde schijven negatief beïnvloeden en optische netwerkapparatuur verstoren.
• inefficiëntie: Luchtkoeling vereist enorme ventilatoren in computerruimtes die op volle snelheid draaien. Dit drijft de temperatuur omhoog. Effectiviteit van stroomverbruik (PUE) en verspilt enorme hoeveelheden elektriciteit.

Het Uptime Institute merkt steevast op dat bij vermogens boven de 30 kW vloeistofkoeling noodzakelijk is. Vloeistof kan namelijk ongeveer 3,000 keer meer warmte per volume-eenheid vasthouden dan lucht. Direct-to-chip-systemen en vloeistof-naar-vloeistof-CDU's brengen de koelvloeistof rechtstreeks naar de warmtebron, waardoor de inefficiëntie van het verplaatsen van grote hoeveelheden lucht wordt omzeild.

De reactieve koelingsval

Overstappen op vloeistofkoeling lost het capaciteitsprobleem op, maar niet het timingprobleem.

In een standaard datacenter met reactieve koeling verloopt het proces als volgt:

1. De trigger: De AI-training start. De GPU's bereiken direct hun maximale temperatuur.
2. De vertraging: De hete componenten verwarmen de omringende vloeistofkringloop. De verwarmde vloeistof stroomt via de leidingen terug naar de CDU.
3. De detectie: Een thermische sensor in de koelunit detecteert de stijging van de temperatuur van het retourwater.
4. Het antwoord: Het facility management systeem stuurt de primaire koelwaterleiding aan om de doorstroming te verhogen en geeft de koelinstallatie opdracht om de capaciteit op te voeren.
5. Het herstel: Uiteindelijk komt er kouder water bij het rek om de temperatuur te stabiliseren.

Deze reactieve lus creëert een gevaarlijke tijdsvertraging. Volgens Data Center Knowledge kan die vertraging variëren van 30 seconden tot enkele minuten, afhankelijk van de lengte van de leiding en het systeemontwerp.

Tijdens die vertraging raken de GPU's oververhit. Om te voorkomen dat de chips doorbranden, schakelen ze over op thermische throttling. Ze vertragen zichzelf kunstmatig door hun kloksnelheid te verlagen om minder warmte te genereren.

Thermische throttling ondermijnt het hele nut van dure AI-hardware. Als uw GPU-cluster van een miljoen dollar met 30% vertraagt ​​telkens wanneer de werkbelasting toeneemt, verliest u enorm veel rekenkracht. Bovendien tast herhaalde blootstelling aan temperatuurpieken de siliciumchips na verloop van tijd aan, waardoor de levensduur van uw kritieke infrastructuur wordt verkort.

Vergelijking van koelstrategieën voor datacenters

Om de evolutie van thermisch beheer te begrijpen, moeten we kijken hoe verschillende systemen omgaan met een plotselinge piek in de AI-werkbelasting.

De tabel hieronder bevat dezelfde informatie als de infographic hierboven.

Het Nlyte-voordeel: voorspellende belastingssignalen

Om de vertraging van reactieve systemen op te lossen, moet het datacenter rechtstreeks met de IT-hardware communiceren. Nlyte Software verandert hier het paradigma.

In plaats van te wachten tot het water in de leidingen warm wordt, overbrugt Nlyte de kloof tussen de IT-stack en de infrastructuur van de faciliteit. Dankzij diepe integraties met IT-servicemanagementsystemen, taakplanners en telemetrie op serverniveau weet Nlyte precies wat de servers doen en, nog belangrijker, wat ze op het punt staan ​​te doen.

Het vloeistofcircuit vooraf koelen

Wanneer een AI-workload is ingepland, weet de IT-orkestratielaag precies wanneer de GPU's worden ingeschakeld. Nlyte registreert dit voorspellende belastingssignaal.

Voordat de GPU's de data ook maar beginnen te verwerken, stuurt Nlyte een geautomatiseerd signaal naar het gebouwbeheersysteem (BMS) van de faciliteit of rechtstreeks naar de koelvloeistofdistributie-units. De faciliteit begint dan preventief met het rondpompen van koudere vloeistof en het verhogen van de pompsnelheden.

Tegen de tijd dat de GPU's hun temperatuurpiek bereiken, is het koelsysteem al verzadigd met precies de juiste hoeveelheid koude vloeistof om de warmte direct af te voeren. De temperatuurcurve blijft perfect vlak. De GPU's gaan nooit oververhitten en de hardware ondervindt geen thermische stress.

Dit is de ware kracht van voorspellende koeling voor AI. Je hoeft de warmte niet langer achterna te jagen; je wacht er juist op.

Optimalisatie van de koelinstallatie met Carrier

Nlyte's vermogen om thermische belastingen te voorspellen reikt veel verder dan serverracks. Als onderdeel van Carrier is Nlyte nauw geïntegreerd met bedrijfsbrede infrastructuur.

Wanneer Nlyte een omvangrijke AI-taak detecteert, kan het communiceren met de centrale koelinstallatie. Koelinstallaties gebruiken enorme compressoren en frequentieregelaars (VSD's) om het koude water te genereren dat het datacenter van koeling voorziet. Het opstarten van deze systemen kost tijd en vereist aanzienlijke energie.

Als een koelinstallatie blindelings reageert op een plotselinge temperatuurstijging, schiet deze vaak "over". De compressoren worden dan op volle toeren gedraaid om de plotselinge temperatuurstijging te compenseren, waardoor enorme hoeveelheden elektriciteit worden verspild, voordat het vermogen uiteindelijk weer wordt teruggeschroefd.

Dankzij de voorspellende signalering van Nlyte ontvangt de koelinstallatie tijdig een melding. De frequentieregelaars kunnen soepel en efficiënt opschakelen. Dit voorkomt extreme energiepieken, vermindert mechanische slijtage aan de Carrier-koelinstallaties en verbetert de algehele efficiëntie van de installatie aanzienlijk.

De energiebron voor het tijdperk van hoge bevolkingsdichtheid: hernieuwbare energie

Naarmate datacenters steeds vaker gebruikmaken van voorspellende koeling voor AI, staan ​​ze ook voor een bredere uitdaging: het leveren van de enorme hoeveelheid energie die nodig is om racks van meer dan 100 kW te laten draaien. De overstap naar vloeistofkoeling verbetert de efficiëntie, maar het absolute energieverbruik van AI-faciliteiten blijft stijgen.

Toonaangevende analisten van Newmark en Colliers benadrukken dat duurzaamheidseisen datacenters dwingen om af te stappen van fossiele brandstoffen. Grote hyperscalers en colocatieproviders integreren actief hernieuwbare energiebronnen in hun locatiekeuze voor datacenters met een hoge dichtheid.

Het afstemmen van de constante, basislaststroombehoefte van een AI-datacenter op de variabele aard van hernieuwbare energie vereist echter een zorgvuldige planning. Exploitanten moeten een balans vinden tussen ruimtebeperkingen, opstartkosten en betrouwbaarheid.

Vergelijking van hernieuwbare energiebronnen voor datacenters

De tabel hieronder bevat dezelfde informatie als de infographic hierboven.

Door operationele AI in te zetten, kunnen datacenters hun computerbelasting beter afstemmen op de beschikbaarheid van hernieuwbare energie. Als een datacenter sterk afhankelijk is van zonne-energie, kan Nlyte helpen om niet-urgente AI-trainingstaken in te plannen tijdens de uren met de meeste daglichturen, wanneer goedkope, hernieuwbare energie volop beschikbaar is. Deze synergie tussen IT-orkestratie, koeling van de faciliteit en energievoorziening vertegenwoordigt het summum van modern datacenterbeheer.

De toekomst behoort aan de proactieven.

De tijd dat je kon wachten tot een server oververhit raakte voordat je hem probeerde af te koelen, is voorbij. De natuurkundige wetten van AI-racks met een vermogen van meer dan 100 kW laten dat simpelweg niet toe.

Het vertrouwen op reactief thermisch beheer leidt gegarandeerd tot thermische throttling, beschadigt dure GPU-clusters en dwingt koelapparatuur tot inefficiënte, reactieve energiepieken. Overstappen op vloeistofkoeling is een noodzakelijke eerste stap, maar de hardware alleen is niet voldoende. Je hebt de juiste software nodig om het aan te sturen.

Datacenters moeten de kloof overbruggen tussen de IT-werkbelasting en de infrastructuur van de faciliteit. Door voorspellende koeling voor AI te implementeren, garanderen beheerders thermische stabiliteit, maximaliseren ze het GPU-gebruik en verlagen ze hun energiekosten voor koeling aanzienlijk. Door gebruik te maken van Nlyte Software en de geavanceerde infrastructuurmogelijkheden van Carrier, kan uw faciliteit de warmte voorspellen voordat deze zich überhaupt voordoet.

Stop met reageren op de hitte. Begin met het voorspellen ervan.

Neem vandaag nog de controle over uw AI-infrastructuur met hoge dichtheid. Werk samen met Nlyte Software en ontdek hoe voorspellende belastingssignalen en operationele AI uw hardware kunnen beschermen en uw faciliteit kunnen optimaliseren.

Vraag hier een demo aan: https://www.nlyte.com/nlyte-in-action/see-a-demo/