Ο θάνατος της αντιδραστικής ψύξης στα 100kW+

Όταν ένα σύμπλεγμα εκπαίδευσης τεχνητής νοημοσύνης (AI) ενεργοποιείται, δεν αυξάνει σταδιακά το φόρτο εργασίας του. Η θερμική έξοδος αυξάνεται αμέσως. Ένα rack γεμάτο με GPU υψηλής απόδοσης μεταβαίνει από την κατάσταση αδράνειας στη μέγιστη αξιοποίηση σε κλάσμα του δευτερολέπτου, καταναλώνοντας τεράστιες ποσότητες ενέργειας και εκπέμποντας έντονη θερμότητα.

Για δεκαετίες, οι χειριστές κέντρων δεδομένων διαχειρίζονταν τα θερμικά φορτία αντιδραστικά. Ένας αισθητήρας ανίχνευε αύξηση της θερμοκρασίας και η εγκατάσταση ανταποκρινόταν ανοίγοντας τους ανεμιστήρες, ανοίγοντας βαλβίδες ή ωθώντας περισσότερο κρύο νερό στο δωμάτιο. Αυτή η προσέγγιση λειτούργησε αρκετά καλά για την παραδοσιακή εταιρική πληροφορική.

Σήμερα, αυτή η αντιδραστική προσέγγιση είναι ουσιαστικά νεκρή.

Καθώς οι πυκνότητες των rack ξεπερνούν τα 100kW, οι παραδοσιακές μέθοδοι ψύξης δεν μπορούν να συμβαδίσουν με την ταχύτητα των θερμικών αιχμών της τεχνητής νοημοσύνης. Η ψύξη με αέρα φτάνει το μέγιστο των 30kW ανά rack. Για να επιβιώσουν στη σύγχρονη εποχή της τεχνητής νοημοσύνης, τα κέντρα δεδομένων βασίζονται σε μονάδες διανομής ψυκτικού υγρού-σε-υγρό (CDU) και σε συστήματα ψύξης απευθείας στο τσιπ. Ωστόσο, ακόμη και η ψύξη με υγρό δεν επαρκεί εάν το σύστημα ελέγχου περιμένει να φτάσει η θερμότητα πριν αντιδράσει.

Για να προστατεύσουν τον ακριβό εξοπλισμό και να σταματήσουν τη σπατάλη ενέργειας, τα κέντρα δεδομένων πρέπει να αλλάξουν τη στρατηγική τους. Χρειάζονται προγνωστική ψύξη για την Τεχνητή Νοημοσύνη. Χρησιμοποιώντας σήματα προγνωστικού φορτίου από τη στοίβα IT, οι διαχειριστές εγκαταστάσεων μπορούν να προψύξουν τους βρόχους ρευστού και να προσαρμόσουν τα ψυκτικά συγκροτήματα πριν από τις κορυφώσεις του υπολογιστικού φορτίου.

Το κύμα σοκ ισχύος τεχνητής νοημοσύνης: Γιατί τα 100kW+ αλλάζουν τα πάντα

Τα φόρτα εργασίας τεχνητής νοημοσύνης είναι μοναδικά απαιτητικά. Σε αντίθεση με τους τυπικούς διακομιστές ιστού που αντιμετωπίζουν προβλέψιμα, κυλιόμενα κύματα κίνησης, τα μοντέλα μηχανικής μάθησης εκτελούν μαζικές, παράλληλες εργασίες επεξεργασίας ταυτόχρονα.

Όταν ένας επιστήμονας δεδομένων ξεκινά μια ακολουθία εκπαίδευσης μεγάλου γλωσσικού μοντέλου (LLM), χιλιάδες GPU ενεργοποιούνται ταυτόχρονα. Σύμφωνα με αναφορές της Data Center Dynamics (DCD) , αυτή η στιγμιαία ζήτηση δημιουργεί ένα θερμικό «κρουστικό κύμα» μέσα στο κέντρο δεδομένων. Η κατανάλωση ενέργειας μέσα σε ένα μόνο ερμάριο μπορεί να εκτοξευθεί αμέσως από μια βασική τιμή μερικών κιλοβάτ σε πάνω από 100 κιλοβάτ.

Έρευνα από το JLL Global Data Center Outlook επιβεβαιώνει ότι αυτή η ταχεία κλιμάκωση της πυκνότητας των rack γίνεται το νέο πρότυπο. Οι εγκαταστάσεις που προηγουμένως είχαν μέσο όρο 5kW έως 10kW ανά rack τώρα αναβαθμίζονται για να υποστηρίξουν αποτυπώματα 50kW, 80kW και 100kW+ για να φιλοξενήσουν Nvidia, AMD και προσαρμοσμένα clusters πυριτίου.

Γιατί η ψύξη με αέρα χτυπάει έναν τοίχο

Στα 100kW, η ψύξη με αέρα δεν είναι πλέον θέμα φθίνουσας απόδοσης. Παραβιάζει τους νόμους της θερμικής δυναμικής. Ο αέρας δεν έχει την πυκνότητα και τη θερμοχωρητικότητα για να μεταφέρει μακριά τη θερμική ενέργεια που παράγεται από τους πυκνά συσκευασμένους διακομιστές τεχνητής νοημοσύνης.

• Όρια ροής αέρα: Για να ψύξετε ένα rack 100kW με αέρα, θα χρειαστείτε ανέμους με δύναμη τυφώνα που να πνέουν μέσα από το περίβλημα. Αυτό θα έσπαγε τα καλώδια από τις υποδοχές τους και θα προκαλούσε ζημιά σε ευαίσθητα εξαρτήματα.
• Ακουστική ζημιά: Οι ανεμιστήρες διακομιστών υψηλής ταχύτητας που λειτουργούν στη μέγιστη χωρητικότητα παράγουν επίπεδα θορύβου που υπερβαίνουν τα 100 ντεσιμπέλ. Οι ακουστικές δονήσεις υψηλής συχνότητας μπορούν στην πραγματικότητα να υποβαθμίσουν την απόδοση των μονάδων σκληρού δίσκου και να διαταράξουν τη λειτουργία του εξοπλισμού οπτικής δικτύωσης.
• Ανεπάρκεια: Η ψύξη με αέρα απαιτεί τεράστιους ανεμιστήρες χειρισμού αέρα δωματίου υπολογιστών (CRAH) που λειτουργούν σε πλήρη ταχύτητα. Αυτό ανεβάζει την ταχύτητα. Αποτελεσματικότητα χρήσης ενέργειας (PUE) και σπαταλά τεράστιες ποσότητες ηλεκτρικής ενέργειας.

Το Uptime Institute σημειώνει επανειλημμένα ότι η υπέρβαση των 30kW απαιτεί υγρή ψύξη. Το υγρό συγκρατεί περίπου 3,000 φορές περισσότερη θερμότητα κατ' όγκο από τον αέρα. Τα συστήματα απευθείας σε τσιπ και οι μονάδες CDU υγρού-σε-υγρό φέρνουν το ψυκτικό απευθείας στην πηγή θερμότητας, παρακάμπτοντας τις αναποτελεσματικότητες της μετακίνησης τεράστιων όγκων αέρα.

Η αντιδραστική παγίδα ψύξης

Η αναβάθμιση σε υγρή ψύξη λύνει το πρόβλημα χωρητικότητας, αλλά δεν λύνει το πρόβλημα χρονισμού.

Σε ένα τυπικό κέντρο δεδομένων με αντιδραστική ψύξη, η ακολουθία των συμβάντων μοιάζει με την εξής:

1. Η σκανδάλη: Η εργασία εκπαίδευσης της Τεχνητής Νοημοσύνης ξεκινά. Οι GPU φτάνουν αμέσως στη μέγιστη θερμοκρασία.
2. Η καθυστέρηση: Τα θερμά εξαρτήματα θερμαίνουν τον περιβάλλοντα βρόχο υγρού. Το θερμαινόμενο υγρό ταξιδεύει μέσω των σωλήνων πίσω στη μονάδα CDU.
3. Η ανίχνευση: Ένας θερμικός αισθητήρας μέσα στη μονάδα CDU ανιχνεύει την αύξηση της θερμοκρασίας του νερού επιστροφής.
4. Η απάντηση: Το σύστημα διαχείρισης εγκατάστασης δίνει εντολή στον κύριο βρόχο κρύου νερού να αυξήσει τη ροή και λέει στο ψυκτικό συγκρότημα να αυξήσει τη ροή.
5. Η Ανάκαμψη: Πιο κρύο νερό φτάνει τελικά στο ράφι για να σταθεροποιήσει τις θερμοκρασίες.

Αυτός ο αντιδραστικός βρόχος δημιουργεί ένα επικίνδυνο χρονικό κενό. Σύμφωνα με το Data Center Knowledge , αυτό το κενό μπορεί να διαρκέσει από 30 δευτερόλεπτα έως αρκετά λεπτά, ανάλογα με το μήκος του σωλήνα και τον σχεδιασμό του συστήματος.

Κατά τη διάρκεια αυτής της καθυστέρησης, οι GPU υπερθερμαίνονται. Για να αποφευχθεί η φυσική κατάρρευση, τα τσιπ εφαρμόζουν θερμικό περιορισμό. Επιβραδύνονται τεχνητά, μειώνοντας τις ταχύτητες ρολογιού τους για να παράγουν λιγότερη θερμότητα.

Ο θερμικός περιορισμός καταστρέφει ολόκληρο τον σκοπό της αγοράς ακριβού υλικού τεχνητής νοημοσύνης. Εάν το σύμπλεγμα GPU αξίας ενός εκατομμυρίου δολαρίων επιβραδύνεται κατά 30% κάθε φορά που αυξάνεται το φόρτο εργασίας, χάνετε τεράστια ποσά υπολογιστικής αξίας. Επιπλέον, η επαναλαμβανόμενη έκθεση σε θερμικές αυξήσεις υποβαθμίζει το πυρίτιο με την πάροδο του χρόνου, μειώνοντας τη διάρκεια ζωής της κρίσιμης υποδομής σας.

Σύγκριση στρατηγικών ψύξης κέντρων δεδομένων

Για να κατανοήσουμε την εξέλιξη της θερμικής διαχείρισης, πρέπει να εξετάσουμε πώς διαφορετικά συστήματα διαχειρίζονται μια ξαφνική αύξηση του φόρτου εργασίας της Τεχνητής Νοημοσύνης.

Ο παρακάτω πίνακας περιέχει τις ίδιες πληροφορίες που περιγράφονται στο παραπάνω infographic.

Το πλεονέκτημα του Nlyte: Προγνωστικά σήματα φορτίου

Για να επιλύσει το πρόβλημα της καθυστέρησης των αντιδραστικών συστημάτων, η εγκατάσταση του κέντρου δεδομένων πρέπει να επικοινωνεί απευθείας με το υλικό IT. Εδώ είναι που η Nlyte Software αλλάζει το παράδειγμα.

Αντί να περιμένει να ζεσταθεί το νερό στους σωλήνες, η Nlyte γεφυρώνει το χάσμα μεταξύ του IT stack και της υποδομής της εγκατάστασης. Μέσω εις βάθος ενσωματώσεων με συστήματα διαχείρισης υπηρεσιών IT, προγραμματιστές εργασιών και τηλεμετρία σε επίπεδο διακομιστή, η Nlyte γνωρίζει ακριβώς τι κάνουν οι διακομιστές και, το πιο σημαντικό, τι πρόκειται να κάνουν.

Προψύξη των βρόχων ρευστού

Όταν έχει προγραμματιστεί να εκτελεστεί ένα φόρτο εργασίας τεχνητής νοημοσύνης, το επίπεδο ενορχήστρωσης IT γνωρίζει την ακριβή στιγμή που θα εμπλακούν οι GPU. Το Nlyte καταγράφει αυτό το προγνωστικό σήμα φορτίου.

Πριν καν οι GPU αρχίσουν να επεξεργάζονται τα δεδομένα, η Nlyte στέλνει ένα αυτοματοποιημένο σήμα στο Σύστημα Διαχείρισης Κτιρίου (BMS) της εγκατάστασης ή απευθείας στις Μονάδες Διανομής Ψυκτικού Υγρού. Η εγκατάσταση αρχίζει να προωθεί ψυχρότερο υγρό και να αυξάνει προληπτικά τις ταχύτητες της αντλίας.

Μέχρι τη στιγμή που οι GPU δημιουργούν την θερμική τους αιχμή, ο βρόχος ψύξης είναι ήδη κορεσμένος με ακριβώς τη σωστή ποσότητα κρύου υγρού για να απορροφήσει άμεσα τη θερμότητα. Η καμπύλη θερμοκρασίας παραμένει απόλυτα επίπεδη. Οι GPU δεν επιβραδύνονται ποτέ και το υλικό δεν υφίσταται ποτέ θερμική καταπόνηση.

Αυτή είναι η πραγματική δύναμη της προγνωστικής ψύξης για την Τεχνητή Νοημοσύνη. Δεν κυνηγάτε πλέον τη θερμότητα. Την περιμένετε.

Βελτιστοποίηση του ψυκτικού συγκροτήματος με Carrier

Η ικανότητα της Nlyte να προβλέπει θερμικά φορτία εκτείνεται πολύ πέρα ​​από το rack των διακομιστών. Ως εταιρεία Carrier, η Nlyte ενσωματώνεται σε βάθος με την υποδομή εγκαταστάσεων εταιρικού επιπέδου.

Όταν η Nlyte ανιχνεύει μια τεράστια εργασία τεχνητής νοημοσύνης στον ορίζοντα, μπορεί να επικοινωνήσει με το κεντρικό ψυκτικό συγκρότημα. Τα ψυκτικά συγκροτήματα χρησιμοποιούν τεράστιους συμπιεστές και κινητήρες μεταβλητής ταχύτητας (VSD) για να παράγουν το κρύο νερό που τροφοδοτεί το κέντρο δεδομένων. Η ενίσχυση της λειτουργίας αυτών των συστημάτων απαιτεί χρόνο και σημαντική ενέργεια.

Εάν ένα ψυκτικό συγκρότημα αντιδρά τυφλά σε μια ξαφνική αύξηση της θερμοκρασίας, συχνά «υπερβαίνει τα όρια». Αυξάνει την απόδοση των συμπιεστών του στο 100% για να αντιμετωπίσει την απότομη αύξηση της θερμοκρασίας, σπαταλώντας τεράστιες ποσότητες ηλεκτρικής ενέργειας, πριν τελικά μειώσει την ισχύ του.

Με την προγνωστική σηματοδότηση της Nlyte, το ψυκτικό συγκρότημα λαμβάνει έγκαιρη ειδοποίηση. Οι κινητήρες μεταβλητής ταχύτητας μπορούν να ενεργοποιηθούν ομαλά και αποτελεσματικά εκ των προτέρων. Αυτό αποτρέπει τις ακραίες αυξήσεις ενέργειας, μειώνει τη μηχανική φθορά στα ψυκτικά συγκροτήματα Carrier και βελτιώνει δραστικά τη συνολική απόδοση της εγκατάστασης.

Τροφοδοτώντας την εποχή υψηλής πυκνότητας: Ανανεώσιμες πηγές ενέργειας

Καθώς τα κέντρα δεδομένων υιοθετούν την προγνωστική ψύξη για την Τεχνητή Νοημοσύνη, αντιμετωπίζουν επίσης μια ευρύτερη πρόκληση: την προμήθεια της τεράστιας ισχύος που απαιτείται για τη λειτουργία ραφιών άνω των 100kW. Η μετάβαση στην υγρή ψύξη βελτιώνει την απόδοση, αλλά η απόλυτη κατανάλωση ενέργειας των εγκαταστάσεων Τεχνητής Νοημοσύνης συνεχίζει να αυξάνεται.

Κορυφαίοι αναλυτές της Newmark και της Colliers τονίζουν ότι οι απαιτήσεις βιωσιμότητας αναγκάζουν τα κέντρα δεδομένων να εγκαταλείψουν τα ορυκτά καύσιμα. Οι μεγάλοι υπερεπεκτατές και οι πάροχοι συστέγασης ενσωματώνουν ενεργά τις ανανεώσιμες πηγές ενέργειας στις επιλογές τοποθεσιών υψηλής πυκνότητας.

Ωστόσο, η αντιστοίχιση των σταθερών, βασικών απαιτήσεων ισχύος ενός κέντρου δεδομένων τεχνητής νοημοσύνης με τη μεταβλητή φύση των ανανεώσιμων πηγών ενέργειας απαιτεί προσεκτικό σχεδιασμό. Οι φορείς εκμετάλλευσης πρέπει να εξισορροπήσουν τους περιορισμούς χώρου, το αρχικό κόστος και την αξιοπιστία.

Σύγκριση Ανανεώσιμων Πηγών Ενέργειας Κέντρων Δεδομένων

Ο παρακάτω πίνακας περιέχει τις ίδιες πληροφορίες που περιγράφονται στο παραπάνω infographic.

Χρησιμοποιώντας την Επιχειρησιακή Τεχνητή Νοημοσύνη, τα κέντρα δεδομένων μπορούν να ευθυγραμμίσουν καλύτερα τα υπολογιστικά τους φόρτα εργασίας με τη διαθεσιμότητα ανανεώσιμων πηγών ενέργειας. Εάν μια εγκατάσταση βασίζεται σε μεγάλο βαθμό στην ηλιακή ενέργεια, η Nlyte μπορεί να βοηθήσει στον προγραμματισμό μη επειγόντων φόρτων εργασίας εκπαίδευσης στην Τεχνητή Νοημοσύνη κατά τις ώρες αιχμής της ημέρας, όταν η φθηνή, ανανεώσιμη ενέργεια είναι άφθονη. Αυτή η συνέργεια μεταξύ της ενορχήστρωσης IT, της ψύξης εγκαταστάσεων και της προμήθειας ενέργειας αντιπροσωπεύει την κορωνίδα της σύγχρονης διαχείρισης κέντρων δεδομένων.

Το μέλλον ανήκει στους προνοητικούς

Οι μέρες που περιμέναμε να ζεσταθεί ένας διακομιστής πριν προσπαθήσουμε να τον κρυώσουμε έχουν τελειώσει. Η φυσική των rack τεχνητής νοημοσύνης άνω των 100kW το απαγορεύει κατηγορηματικά.

Η εξάρτηση από τη διαχείριση της αντιδραστικής θερμότητας εγγυάται θερμικό περιορισμό, προκαλεί ζημιές σε ακριβά συμπλέγματα GPU και αναγκάζει τον εξοπλισμό ψύξης να παρουσιάσει αναποτελεσματικές, αντιδραστικές αυξήσεις ενέργειας. Η μετάβαση σε υγρή ψύξη είναι ένα υποχρεωτικό πρώτο βήμα, αλλά το υλικό από μόνο του δεν είναι αρκετό. Χρειάζεστε την ευφυΐα λογισμικού για να το χειριστείτε.

Τα κέντρα δεδομένων πρέπει να γεφυρώσουν το χάσμα μεταξύ του φόρτου εργασίας IT και της υποδομής της εγκατάστασης. Εφαρμόζοντας προγνωστική ψύξη για την Τεχνητή Νοημοσύνη, οι πάροχοι εγγυώνται θερμική σταθερότητα, μεγιστοποιούν την αξιοποίηση της GPU και μειώνουν σημαντικά το κόστος ενέργειας ψύξης. Αξιοποιώντας τις προηγμένες δυνατότητες υποδομής της Nlyte Software και της Carrier, η εγκατάστασή σας μπορεί να προβλέψει τη θερμότητα πριν καν αυτή υλοποιηθεί.

Σταμάτα να αντιδράς στη ζέστη. Άρχισε να την προβλέπεις.

Αποκτήστε τον έλεγχο της υποδομής τεχνητής νοημοσύνης υψηλής πυκνότητας σήμερα. Συνεργαστείτε με την Nlyte Software για να δείτε πώς η προγνωστική σηματοδότηση φορτίου και η λειτουργική τεχνητή νοημοσύνη μπορούν να προστατεύσουν το υλικό σας και να βελτιστοποιήσουν την εγκατάστασή σας.

Ζητήστε μια επίδειξη εδώ: https://www.nlyte.com/nlyte-in-action/see-a-demo/