MicrosoftはAI基盤拡張の次の段階に単位を与えました。その単位はギガワットです。10月12日のブログ投稿で、クラウド・AI担当エグゼクティブ・バイスプレジデントのScott Guthrie氏は、同社が自社開発するAIアクセラレーターの第3世代Azure Maia 300を発表し、Maiaファミリーを2027年からマルチギガワット規模の展開へ拡大すると記しました。Maiaは、Microsoftの製品とサービスの主要な推論システム、つまり学習済みモデルへの要求に応えるハードウェアになる計画です。
ラックが単位
数字はMicrosoft自身のもので、社外ではまだ誰も実測していません。Maia 300は複数のチップレットで構成され、演算部はTSMCのN2Pプロセス、メモリコントローラーとI/Oは別ダイに分かれています。HBM4メモリ8スタックでピーク帯域18 TB/sを、アクセラレーター1基あたり950 Wの熱設計電力の中で実現します。これを96基、167 kWの電力枠の1ラックに収め、高帯域メモリは27.6 TBになります。Microsoftは、主要なGPUベースのシステムに比べてメガワットあたりのトークン数が最大40%多く、ラック単位のスループットはMaia 200の最大7倍だとしています。本番展開は2027年の予定で、来月サンフランシスコで開かれるIgniteで詳細が示されるとしています。
1月に発表されたMaia 200はすでに本番稼働しており、Microsoft Copilotと自社のモデル開発を支えています。GitHub CopilotとMicrosoft Foundryも年内に続く予定です。Unite.AIの記事は、最初にアイオワ州デモイン近郊のUS Centralリージョンに、次にフェニックス近郊のUS West 3に導入されたことを振り返っています。Microsoftによれば、現在は米国、欧州、オーストラリアで展開が進んでいます。
メガワットあたりのトークン
電力側にとって意味のある数字は、Microsoftが選んだ物差し、つまりメガワットあたりのトークン数です。効率をチップではなく電力供給に対して示しているのは、制約がどこにあるかを物語っています。167 kWのラックは単体でも小さな産業負荷であり、それが並ぶホールは変電所であり、「マルチギガワット」はIT部門ではなく電力会社の言葉です。Converge Digestの記事は、この密度ではラック周りの冷却と給電が設計のもう半分になると指摘しています。
推論1ギガワットの背後にあるもの
Copilotの要求に応えるサービスは、系統が落ちたときに落としてよい負荷ではありません。この規模のデータセンターに付きものの非常用発電は、これらにも付いてきます。投稿は、ギガワット級の設備をどこに建て、各サイトにどう給電するかを述べておらず、バックアップ電源には一切触れていません。述べているのは、負荷が2027年から到来し、昼夜を問わず動き続けるということです。発電機ヤードをパッケージ化し許可を取る側にとって、問いはいつもと同じで、規模だけが大きくなります。キャンパスがその可用性ティアに何台の発電機を必要とするか、許可がその規模の試運転をどう扱うか、稼働中のIT負荷に触れずにヤードを負荷運転でどう慣らすか。今週のDOEによるPJMへの命令は、推論負荷を抱えたその非常用ヤードに、系統側からも応援を求められ得ることを思い出させます。
出典：Microsoft (Official Microsoft Blog)、Converge Digest、Unite.AI