Tecnologia de refrigeració líquida: abordar els reptes de refrigeració dels centres de dades a l'era de l'AIGC

 

Amb el ràpid desenvolupament del contingut generat per intel·ligència artificial (AIGC), la demanda de potència de càlcul ha augmentat, provocant un fort augment del consum d'energia i les necessitats de gestió tèrmica dels centres de dades. Els elevats requisits de recursos informàtics durant l'entrenament i la inferència del model d'IA augmenten significativament la generació de calor del servidor, augmentant el nivell de les tecnologies de refrigeració. Segons un informe de Colocation America, la potència mitjana per armari als centres de dades globals havia augmentat fins a 16,5 kW el 2020, un augment del 175% en comparació amb el 2008. Com a resultat, la tecnologia de refrigeració líquida s'ha convertit en un nou punt focal per a la refrigeració del centre de dades. solucions.

 

A la conferència GTC d'enguany, NVIDIA no només va mostrar els xips B200 i GB200, sinó que també va destacar la tecnologia de refrigeració líquida que l'acompanya. A més, a la Cimera Econòmica SIEPR de 2024, el CEO de NVIDIA, Jensen Huang, va revelar que els servidors GPU DGX de nova generació adoptarien completament el refredament líquid. La decisió de NVIDIA ha marcat una tendència a la indústria, donant un nou impuls al desenvolupament de la tecnologia de refrigeració líquida. A mesura que la tecnologia d'IA continua avançant, la importància del refredament líquid és cada cop més evident. La tecnologia de refrigeració líquida no només redueix significativament el consum d'energia dels centres de dades, sinó que també millora l'eficiència operativa del servidor i allarga la vida útil dels equips. Per tant, la refrigeració líquida s'està convertint gradualment en una consideració prioritària per a les solucions de refrigeració del centre de dades.

 

 

I Comparació dels mètodes de refrigeració del centre de dades

 

Actualment, els sistemes de refrigeració del centre de dades es divideixen principalment en dos tipus: refrigeració per aire i refrigeració líquida. La tecnologia de refrigeració líquida substitueix l'aire per un medi líquid per intercanviar calor amb els components generadors de calor del servidor, eliminant així la calor i assegurant que el servidor funcioni de manera estable dins d'un rang de temperatura òptim. En canvi, la refrigeració per aire es basa en ventiladors i sistemes d'aire condicionat per dissipar la calor mitjançant el moviment de l'aire. El refredament líquid refreda directament els components generadors de calor, aconseguint una eficiència de conducció tèrmica 25 vegades més gran que l'aire, amb una capacitat calorífica específica d'1,000 a 3.500 vegades superior i una eficiència de transferència de calor convectiva de 10 a 40 vegades més gran que aire. Així, en les mateixes condicions, la tecnologia de refrigeració líquida supera amb escreix la refrigeració per aire en eficiència de refrigeració.

 

▲ Sistemes de refrigeració del centre de dades

 

▲ Tecnologia de refrigeració líquida i refrigeració per aire

 

En comparació amb la refrigeració per aire, la refrigeració líquida proporciona una major eficiència de refrigeració i un menor consum d'energia. En entorns informàtics d'alta densitat, els sistemes de refrigeració d'aire sovint lluiten per satisfer les demandes de refrigeració, mentre que la refrigeració líquida pot abordar aquest repte amb eficàcia. A més, la refrigeració líquida ofereix avantatges com ara un baix soroll i una empremta més petita, cosa que la fa molt adequada per a les configuracions d'alta densitat i els requisits d'estalvi d'energia verda dels centres de dades moderns.

 

 

II Què impulsa el desenvolupament de la refrigeració líquida a l'era de la IA?

 

1. Potència calorífica creixent dels xips informàtics: la refrigeració per aire arriba al seu límit

Amb el ràpid desenvolupament de la tecnologia d'IA, la demanda de potència de càlcul continua augmentant, donant lloc a un augment de la generació de calor i la densitat de flux de calor als xips. Quan els xips funcionen a altes temperatures durant períodes prolongats, el seu rendiment i vida útil es veuen afectats negativament i les taxes de fallada augmenten. La investigació indica que quan la temperatura de funcionament d'un xip s'acosta a 70-80 graus , cada augment de 10 graus pot reduir el seu rendiment en un 50%.

 

Actualment, les CPU d'Intel tenen una potència de disseny tèrmic (TDP) de fins a 350 W, l'H100 de NVIDIA arriba als 700 W i el futur B100 podria arribar als 1,000W, a prop del límit de refrigeració d'un punt únic de 800 W de refrigeració per aire. A mesura que el consum d'energia dels xips de computació continua creixent, i amb el consum d'energia de la CPU i la GPU que representa al voltant del 80% de la potència total del servidor d'IA, seguir utilitzant la refrigeració per aire comportarà un augment significatiu de les necessitats d'aire condicionat en fila. En escenaris de refrigeració d'alta densitat, la refrigeració líquida ofereix avantatges significatius de cost i rendiment.

 

A part del xip, la densitat de potència per armari als centres de dades també està augmentant. La refrigeració d'aire tradicional sol satisfer les necessitats de refrigeració de l'armari en el rang de 12KW a 15KW. Segons elInforme de l'enquesta del centre de dades global 2022per Uptime Institute, la potència màxima per a un únic servidor NVIDIA DGX A100 és de 6,5 kW, i un armari alt estàndard de 42U pot albergar uns cinc servidors d'IA de 5U d'alta, amb una potència total superior a 20KW per armari. La refrigeració per aire tradicional no pot satisfer les necessitats de refrigeració dels armaris de servidors d'IA.

 

2. Impulsat per les necessitats d'estalvi d'energia del centre de dades: requisits de PUE més elevats

El PUE (Efectivitat de l'ús d'energia) és un indicador clau per avaluar l'eficiència energètica del centre de dades, calculat com: PUE=Consum total d'energia del centre de dades / Consum d'energia dels equips informàtics. Com més proper sigui el valor PUE a 1, més gran serà l'eficiència energètica del centre de dades; per contra, com més gran sigui el valor PUE, menor serà l'eficiència global.

 

Les estadístiques divideixen el consum d'energia del centre de dades en diverses parts: els equips informàtics representen el 45%, els sistemes de refrigeració el 43%, els sistemes d'alimentació i distribució el 10% i la il·luminació i altres usos el 2%. Entre aquests, el consum d'energia del sistema d'aire condicionat és només per darrere dels equips informàtics, de manera que reduir el consum d'energia del sistema d'aire condicionat esdevé especialment important quan els sistemes informàtics no es poden actualitzar.

 

En el context dels objectius nacionals d'aconseguir el "pic de carboni" i la "neutralitat de carboni" i l'estratègia "Eastern Data, Western Computation", el recentment llançatEstàndards de demanda de contractació governamental del centre de dades verds (prova)imposa requisits PUE més estrictes.Aquesta norma estableix que a partir del juny de 2023, el PUE del centre de dades no ha de superar l'1,4 i, per al 2025, el requisit serà un PUE no superior a 1,3. Segons dades de CDCC i Inspur Information, els centres de dades que utilitzen refrigeració per aire solen tenir un PUE entre 1,4 i 1,5, mentre que la tecnologia de refrigeració líquida pot reduir el PUE per sota d'1,2. Així, l'adopció d'una tecnologia de refrigeració líquida més eficient energèticament i eficaç s'ha convertit en una tendència.

 

El consum d'energia als centres de dades ha estat durant molt de temps un focus d'atenció a la indústria, especialment en el context de les limitacions globals dels recursos energètics i l'augment de la consciència ambiental. La millora de l'eficiència energètica del centre de dades és especialment crucial. La tecnologia de refrigeració líquida, en proporcionar solucions de refrigeració més eficients, redueix el consum d'energia del sistema d'aire condicionat, reduint així significativament els valors PUE del centre de dades. Aquesta tecnologia no només ajuda a reduir els costos operatius sinó que també redueix les emissions de carboni, alineant-se amb els objectius de desenvolupament sostenible.

 

 

▲ Consum d'energia del centre de dades

 

 

III Classificació de la tecnologia de refrigeració líquida

 

Els sistemes de refrigeració líquida es poden classificar en refrigeració líquida directa i refrigeració líquida indirecta en funció de com el líquid interacciona amb el maquinari. La refrigeració líquida directa implica que el líquid entra en contacte directe amb els components del maquinari per transferir calor. Aquest mètode es pot dividir encara més en refrigeració per immersió i refrigeració per aspersió. La refrigeració per immersió submergeix els components del maquinari completament en el líquid, mentre que el refredament per aerosol consisteix a ruixar el líquid directament sobre el maquinari.

 

La refrigeració líquida indirecta, d'altra banda, utilitza un component intermediari (com un intercanviador de calor o una placa de refrigeració) per conduir la calor, evitant que el líquid entri en contacte directament amb el maquinari. Un sistema de refrigeració líquid indirecta comú és el sistema de refrigeració líquida de placa freda, que es pot dividir en refrigeració de placa freda monofàsica i bifàsica en funció de si el medi de refrigeració experimenta un canvi de fase.

 

▲ Introducció als mètodes de refrigeració líquida

 

1. De les plaques fredes a les plaques fredes d'immersió

La tecnologia de refrigeració líquida transfereix la calor dels components generadors de calor a un líquid de refrigeració a través de plaques fredes, i el líquid de refrigeració dissipa la calor a través de les seves propietats refrigerants. En aquest sistema, el líquid de treball no entra directament en contacte amb els components electrònics, donant lloc a modificacions mínimes al sistema informàtic. El dissipador de calor original de refrigeració per aire es pot substituir simplement per un kit de refrigeració líquida i les canonades de refrigeració es poden encaminar fora del xassís. Aquesta tecnologia és especialment adequada per a requisits de refrigeració amb densitats de flux de calor mitjanes a altes.

 

Un sistema de refrigeració líquida de placa freda consisteix principalment en una torre de refrigeració, una unitat de distribució de refrigerant (CDU), circuits de refrigeració líquids primaris i secundaris, un medi de refrigeració i un armari refrigerat per líquid. El circuit primari fa referència al bucle que descarrega calor del circuit secundari a l'entorn exterior o altres unitats de recuperació de calor, mentre que el circuit secundari fa referència al bucle que elimina la calor dels servidors i la dissipa a través del circuit primari. Els dos circuits intercanvien calor a través de la CDU, o unitat de distribució del refrigerant.

 

El principi de funcionament del sistema de refrigeració líquida de placa freda és relativament simple, però en aplicacions pràctiques, cal tenir en compte el disseny de les plaques fredes, la selecció de líquids de refrigeració i el manteniment del sistema. A més, els sistemes de refrigeració líquida de placa freda funcionen excepcionalment bé en entorns d'alta densitat de flux de calor, cosa que els fa molt adequats per als requisits de disseny d'alta densitat dels centres de dades moderns.

 

▲ Diagrama esquemàtic del sistema de refrigeració líquida de placa freda

 

Els sistemes de refrigeració líquida per immersió aconsegueixen una dissipació eficient de la calor submergint directament els components generadors de calor en líquids de refrigeració no conductors. Depenent de si el líquid de refrigeració pateix un canvi de fase durant la circulació, el refredament del líquid d'immersió es pot dividir en refrigeració d'immersió monofàsica i refrigeració d'immersió bifàsica.

 

En la refrigeració per immersió monofàsica, el líquid de refrigeració només experimenta un canvi de temperatura durant el procés d'intercanvi de calor sense canvi de fase. La transferència de calor es basa completament en el canvi de calor sensible del líquid, utilitzant la característica que el líquid s'expandeix i disminueix la densitat quan s'escalfa. El líquid de refrigeració més càlid puja de manera natural i es refreda mitjançant l'intercanviador de calor d'un bucle de refrigeració extern. Aleshores, el líquid refrigerat s'enfonsa sota la gravetat, completant el cicle de refredament. En aquest mètode, el líquid de refrigeració roman en estat líquid durant tot el procés. En canvi, la refrigeració per immersió bifàsica implica que el líquid de refredament experimenta un canvi de fase de líquid a gas durant la dissipació de calor i després torna de gas a líquid.

 

Un sistema de refrigeració líquida per immersió inclou components tant interiors com exteriors. El costat exterior inclou una torre de refrigeració, una xarxa de canonades primàries i un líquid de refrigeració primari; el costat interior inclou una unitat de distribució de refrigerant (CDU), un dipòsit d'immersió (armari), equips informàtics, xarxa de canonades secundàries i líquid de refrigeració secundari. Durant l'ús, l'equip informàtic està completament immers en el líquid de refrigeració, de manera que la selecció del líquid de refrigeració ha de tenir en compte fluids no conductors, com ara oli de silicona o líquids fluorats.

 

▲ Diagrama esquemàtic de refrigeració líquida d'immersió monofàsica

 

Tot i que existeix refrigeració per aerosol, la seva aplicació és relativament limitada i no és adequada per a servidors d'alta densitat i centres de dades a gran escala. A curt termini, la refrigeració líquida de placa freda és molt adequada per a les necessitats de refrigeració de l'era de la IA i la transició dels centres de dades de la refrigeració per aire a la refrigeració líquida a causa de la seva maduresa, compatibilitat amb els sistemes existents, facilitat de manteniment i baixos costos d'adaptació. . A la llarga, la refrigeració líquida per immersió, amb la seva excel·lent conductivitat tèrmica, la seva eficaç capacitat de recuperació de calor residual i el suport per a una potència més gran de l'armari, serà més adequada per a les necessitats de refrigeració en evolució dels futurs centres de dades. Sobretot a mesura que la potència de la unitat de l'armari continua augmentant, la refrigeració líquida per immersió pot proporcionar solucions de refrigeració més eficients, ajudant a reduir l'efectivitat general de l'ús d'energia (PUE) dels centres de dades.

 

2. Opció preferida per als centres informàtics intel·ligents: refrigeració líquida

A mesura que augmenta la densitat de potència, les solucions de refrigeració líquida s'estan convertint en l'opció per a més centres informàtics de GPU de nova construcció. Segons l'informe "China Semiannual Liquid-Cooled Server Market (H1 2023) Tracker" d'IDC, el mercat xinès de servidors refrigerats per líquid va assolir els 1.510 milions de dòlars el 2023. IDC preveu que del 2022 al 2027, la taxa de creixement anual composta de el mercat xinès de servidors refrigerats per líquid arribarà al 54,7%, amb la mida del mercat que s'espera que arribi als 8.900 milions de dòlars el 2027.

 

L'aplicació de la tecnologia de refrigeració líquida als centres informàtics intel·ligents no només millora el rendiment informàtic, sinó que també redueix significativament el consum d'energia i els costos operatius. La promoció de la tecnologia de refrigeració líquida impulsarà els centres de dades cap a un desenvolupament més eficient, verd i intel·ligent, proporcionant una base sòlida per satisfer les necessitats de processament de dades a l'era de la IA.

 

▲ Mida del mercat del servidor de refrigeració líquida

 

IV Cadena de la indústria de refrigeració líquida

 

La cadena de la indústria de refrigeració líquida abasta tres segments principals: proveïdors de components de productes aigües amunt, fabricants de servidors refrigerats per líquid de corrent intermedi i usuaris de potència informàtica aigües avall. Entre els usuaris aigües avall actuals, empreses nacionals com Alibaba s'estan centrant en el desenvolupament de refrigeració líquida d'immersió monofàsica, mentre que altres, com Baidu, Tencent i JD.com, utilitzen principalment refrigeració líquida de placa freda. A l'estranger, la refrigeració per immersió és més avançada que la refrigeració per placa freda, amb empreses líders nord-americanes com Intel, Google i Meta impulsant el ràpid desenvolupament de la refrigeració líquida per immersió, especialment amb el suport d'IA.

 

▲ Cadena industrial de refrigeració líquida

 

 

V Problemes potencials amb la tecnologia de refrigeració líquida d'immersió

 

1. Selecció del refrigerant

El refrigerant és una de les matèries primeres clau en la tecnologia de refrigeració líquida i presenta una alta barrera tècnica. En la tecnologia de refrigeració líquida d'immersió, el refrigerant ha de contactar directament amb productes electrònics, imposant així uns requisits elevats sobre el rendiment del refrigerant, com ara una excel·lent conductivitat tèrmica, un bon aïllament i compatibilitat de materials. A més, les característiques ambientals com l'olor, la toxicitat i la facilitat de degradació també són importants, i el refrigerant ha de ser el més fàcil d'utilitzar i respectuós amb el medi ambient.

 

Els refrigerants d'immersió més utilitzats actualment inclouen hidrocarburs i organosilicons (comunament anomenats "olis", com l'oli mineral) i compostos fluorats (com líquids fluorats). Els líquids fluorats tenen un bon rendiment general i es consideren materials de refrigeració líquids ideals. Tanmateix, el principal repte dels líquids fluorats és el seu alt cost. Amb requisits de protecció ambiental cada cop més estrictes, l'oli de silicona, que té una conductivitat tèrmica més alta i una densitat més baixa, també és més respectuós amb el medi ambient. L'elecció del medi de refrigeració depèn principalment del procés de refrigeració.

 

2. Problemes de segellat del camí òptic

Els refrigerants com els líquids fluorats o els olis de silicona posseeixen excel·lents propietats aïllants, evitant eficaçment els curtcircuits dels circuits. En condicions de senyal de baixa freqüència, aquests refrigerants tenen una interferència mínima amb la transmissió del senyal. Tanmateix, sota senyals d'alta freqüència, l'impacte del refrigerant en la transmissió del senyal necessita una avaluació i un control acurats. En general, l'impacte en els circuits és manejable.

 

Pel que fa als camins òptics, la majoria dels mòduls òptics dels centres de dades estan dissenyats amb un embalatge no hermètic, és a dir, que sense les modificacions adequades, el refrigerant pot entrar a la cavitat òptica, afectant el rendiment òptic. Fins i tot amb l'embalatge hermètic, alguns camins òptics passius, com les lents, romanen fora de la cambra hermètica.

 

El disseny dels camins òptics es basa normalment en l'índex de refracció de l'aire (aproximadament 1.0). Quan els components òptics estan immersos en un refrigerant, l'índex de refracció del refrigerant, que és diferent de l'aire, pot provocar canvis en els punts focals i l'eficiència de l'acoblament. Per exemple, l'índex de refracció de l'oli fluorat sol ser d'1,3 i aquest canvi en l'índex de refracció pot requerir ajustaments als paràmetres de disseny del camí òptic.

 

Per abordar l'impacte potencial de la refrigeració líquida per immersió en els camins òptics i elèctrics, la indústria està prenent diverses mesures, com ara el desenvolupament de noves tecnologies d'embalatge de mòduls òptics adaptades a l'entorn del refrigerant, l'optimització del disseny de circuits per a senyals d'alta freqüència i la investigació de materials òptics i estructures més adequades per a la refrigeració per immersió.

 

3. Lliurament integrat vs. Lliurament desacoblat

Actualment, hi ha tres models de lliurament per a servidors refrigerats per líquid de placa freda:

① El costat de l'equip informàtic només ofereix el servidor refrigerat per líquid;

② El costat informàtic ofereix el "servidor refrigerat per líquid + armari refrigerat per líquid";

③ El costat informàtic ofereix el "servidor refrigerat per líquid + armari refrigerat per líquid + CDU + circuit secundari".

 

El tercer model de lliurament, el lliurament integrat, on tot l'armari és lliurat pel mateix fabricant amb un estàndard autodefinit per al disseny i desenvolupament integrats, és el més utilitzat. El lliurament desacoblat implica seguir les especificacions de disseny de la interfície definides per l'usuari entre l'armari refrigerat per líquid i el servidor refrigerat per líquid, amb l'armari i el servidor lliurats per diferents fabricants. Els fabricants d'infraestructures i servidors han de coordinar-se i cooperar. El lliurament desacoblat és més fàcil d'escalar i de desplegar de manera flexible.

 

▲ Diferenciació del mode de lliurament del servidor refrigerat per líquid de placa freda

 

Actualment, el nivell d'estandardització de la tecnologia de refrigeració líquida a la Xina és relativament baix. Els diferents equips de servidor, refrigerants, canonades de refrigeració i productes de font d'alimentació varien en forma i no hi ha cap estàndard d'interfície unificada, que presenti reptes per a l'estandardització i l'aplicació a gran escala. Els llibres blancs publicats pels tres principals operadors de telecomunicacions nacionals descriuen una visió de tres anys per a la tecnologia de refrigeració líquida, verificant i provant gradualment la tecnologia, amb plans per iniciar aplicacions a gran escala de refrigeració líquida per al 2025. S'espera que més del 50% dels projectes de dades adoptaran aquesta tecnologia, promovent l'estandardització i la implementació a gran escala de refrigeració líquida i donant suport al lliurament desacoblat.