Microsoft ha dato un’unità di misura alla prossima fase della sua espansione nell’IA, e l’unità è il gigawatt. In un post sul blog del 12 ottobre, Scott Guthrie, vicepresidente esecutivo per cloud e IA, ha presentato Azure Maia 300, terza generazione dell’acceleratore di IA sviluppato in casa, e ha scritto che la famiglia Maia sarà portata a installazioni da più gigawatt a partire dal 2027. Maia dovrà diventare il principale sistema di inferenza per i prodotti e i servizi Microsoft, cioè l’hardware che risponde alle richieste una volta addestrato il modello.
Il rack è l’unità
I numeri sono quelli di Microsoft e nessuno fuori dall’azienda li ha ancora misurati. Maia 300 è costruito con più chiplet - il calcolo sul processo N2P di TSMC, controller di memoria e I/O su die separati - con otto stack di memoria HBM4 che offrono 18 TB/s di banda di picco entro un TDP di 950 W per acceleratore. Novantasei di essi entrano in un rack entro un limite di potenza di 167 kW e 27,6 TB di memoria ad alta banda. Microsoft rivendica fino al 40 per cento di token per megawatt in più rispetto ai migliori sistemi basati su GPU e fino a sette volte il throughput per rack di Maia 200. Le installazioni in produzione sono previste per il 2027, e altri dettagli sono promessi alla conferenza Ignite di San Francisco il mese prossimo.
Maia 200, lanciato a gennaio, è già in produzione al servizio di Microsoft Copilot e dello sviluppo dei modelli interni; GitHub Copilot e Microsoft Foundry dovrebbero seguire entro fine anno. Unite.AI ricorda che è stato installato prima nella regione US Central vicino a Des Moines, in Iowa, poi in US West 3 vicino a Phoenix; secondo Microsoft il dispiegamento prosegue ora negli Stati Uniti, in Europa e in Australia.
Token per megawatt
Il numero che parla al lato energia è il metro scelto da Microsoft: i token per megawatt. L’efficienza è riferita all’alimentazione elettrica e non al chip, e questo dice dove sta il vincolo. Un rack da 167 kW è da solo un piccolo carico industriale, una sala intera è una sottostazione, e «più gigawatt» è il linguaggio delle utility, non dei reparti IT. Converge Digest indica nel suo resoconto il raffreddamento e la distribuzione elettrica attorno al rack come l’altra metà del progetto a questa densità.
Che cosa c’è dietro un gigawatt di inferenza
Un servizio che risponde alle richieste di Copilot non è un carico che qualcuno lascia cadere quando cade la rete; la generazione di emergenza che accompagna i data center di questa classe accompagnerà quindi anche questi. Il post non dice dove saranno costruiti i gigawatt né come saranno alimentati i siti, e non menziona affatto l’alimentazione di riserva; dice però che il carico arriva dal 2027 e funziona ventiquattr’ore su ventiquattro. Per chi progetta e fa autorizzare i parchi di gruppi elettrogeni le domande sono quelle di sempre, su scala maggiore: quanti gruppi servono a un campus per il suo livello di disponibilità, come un’autorizzazione tratta le prove di una flotta di quelle dimensioni, e come si tiene in esercizio il parco sotto carico senza toccare il carico IT reale. L’ordinanza del DOE a PJM di questa settimana ricorda che anche la rete può chiedere aiuto a quel parco di emergenza, carico di inferenza compreso.
Fonti: Microsoft (Official Microsoft Blog), Converge Digest, Unite.AI