Microsoft 7 月 23 日公布 AT&T 的 OTel2.0 客戶案例:AT&T 透過 Microsoft Foundry Managed Compute 使用約 530 張 GPU,其中 430 張為 AMD Instinct MI300X,處理約 1 兆 token,並訓練約 4000 億 token。這套電信領域模型以開放模型和電信資料為基礎,工作包括資料準備、合成資料生成和模型開發。
Microsoft 稱,AT&T 透過 Managed Compute 在數天內部署和擴充模型,使用開放模型與專用 GPU 基礎設施後,合成資料生成成本比 frontier models 低數千萬美元。這些數字來自 Microsoft 的客戶案例,文章沒有附上獨立審計、完整成本基準或同一工作負載的比較條件。
AT&T 用 OTel2.0 將電信資料放進多模型開發流程
AT&T 建立 OTel 模型,處理電信網路、標準與營運資料等通用模型不一定熟悉的內容。Microsoft 案例列出的模型包括 Phi-4、OSS 120B 和 Gemma 4,分別支援資料準備、較高推理量工作和 OTel2.0 開發流程。
其中 Phi-4 每月處理約 7000 億 token,供資料準備與合成資料生成使用;整個 OTel2.0 流程處理約 1 兆 token。這種分工把模型選擇和資料工作拆開,讓較小或較開放的模型承擔大量前處理。

Microsoft Foundry Managed Compute 把 GPU 運算交給受管平台
Foundry Managed Compute 是 Microsoft Foundry 的受管 GPU 平台,讓企業在不自行維護虛擬機器、Kubernetes 叢集或模型 runtime 的情況下,部署開放模型和客製模型。平台把模型目錄、執行框架與 GPU 容量放在同一個部署入口,並按模型 instance 和加速器使用時間計費。
Microsoft Foundry 文件列出 A100、H100 等 Global Managed Compute 方案,MI300X 在該文件中仍標示為 coming soon 的加速器選項;AT&T 案例已記載使用 MI300X,但這不代表所有租戶都能在相同區域、相同時段取得同樣的 GPU。
AT&T 以 AMD MI300X 與其他 GPU 混合部署 OTel2.0
AT&T 使用多種 GPU 架構,不把 OTel2.0 綁在單一加速器。Microsoft 表示,其中約 530 張 GPU 有 430 張是 AMD Instinct MI300X,其餘 GPU 來自其他架構;這種配置讓 AT&T 依模型階段與工作負載調整部署方式。
多 GPU 架構也會增加軟體與運營管理工作。模型 runtime、驅動、記憶體配置、效能監控和資料搬移都要跨硬體驗證,因此 Foundry 的統一 endpoint 和 Azure Monitor 觀測資料,是這個案例裡與 GPU 數量同樣重要的條件。
Microsoft Foundry 的成本數字仍取決於實際模型與 GPU 使用量
Microsoft Foundry Managed Compute 目前按 accelerator、model instance 和運行時間計費,Azure Foundry Blog 也列出 HTTP 請求、延遲與 token 使用量的 Azure Monitor 指標。AT&T 的 1 兆 token 和約 530 張 GPU 是一個客戶案例,不能直接換成其他企業的單位成本或訓練速度。
目前已公布的可核對項目包括 OTel2.0 使用的模型、GPU 數量、token 規模與 Foundry Managed Compute 部署方式;AT&T 後續是否把這套模型推進正式電信服務,公開案例尚未提供完整上線時程。
消息來源:Microsoft Azure Blog:AT&T、Foundry 與 AMD 的 OTel2.0 案例、Microsoft Foundry Blog:Foundry Managed Compute。