Ad aprile, AWS ci ha dato uno sguardo dietro le quinte dell'ingegneria dei loro data center. Per gestire l'emissione termica dei più recenti cluster AI, hanno presentato il Direct-to-Chip Liquid Cooling.

È più di una semplice curiosità hardware. Dal punto di vista delle prestazioni, il raffreddamento a liquido consente una densità di calcolo 3x superiore per rack. Garantisce che silicio personalizzato come Trainium e Inferentia possa mantenere velocità di clock massime per lunghi job di addestramento senza il throttling termico che spesso affligge gli ambienti raffreddati ad aria.

Abbiamo anche visto il lancio degli EC2 UltraCluster 2.0, che supportano networking non bloccante su scala petabit tramite Elastic Fabric Adapter (EFA). Se stai facendo addestramento distribuito di modelli con trilioni di parametri, il collo di bottiglia della comunicazione tra nodi è stato virtualmente eliminato.

Aprile ci ha ricordato che "il cloud" è in definitiva limitato dalle leggi della fisica, e AWS sta letteralmente riprogettando l'impianto idraulico di Internet per stare al passo con l'AI.