Google Cloud 7 月公布一份針對 agentic AI 基礎設施的調查，受訪者包括 1,402 名全球 IT 領導者。報告指出，83% 的組織認為要支援正式投入生產環境的自主系統，就需要升級現有基礎設施。這個數字來自雲端服務商自己的調查，不能直接當成全球企業市場的總量統計，但它反映了供應商目前看到的導入障礙。
企業現在遇到的問題，已不只是模型能不能生成一段文字。代理工作會持續呼叫工具、讀寫資料、執行多步驟流程，對儲存、網路、權限、監控和模型推論都提出更高要求。原本可以支撐試驗的系統，未必能承受每天大量執行、需要留下紀錄的正式工作。
83% 的調查結果指向從試驗走向生產的基礎設施缺口
Google Cloud 把這項調查放在 agentic AI 從 pilot 走向 production 的轉折點上。報告所說的基礎設施升級，不只包括購買更多 GPU，也包括資料如何被搬到模型旁邊、工作如何跨雲執行、系統如何保存代理的中間結果，以及管理員如何知道一次任務到底做了哪些事。
這種多步驟工作會放大原有系統的小問題。一次問答只需要讀一份資料，代理可能會連續呼叫多個服務；一次任務如果重試三次，資料傳輸和儲存就會增加。若工具權限和紀錄沒有設計好，企業很難判斷問題出在模型、應用程式、網路還是資料來源。
Google Cloud 把 inference tax 指向資料搬移與閒置硬體
Google Cloud 的調查與相關報導把一種隱性成本稱為 inference tax，來源包括資料出口費、儲存膨脹和閒置的專用硬體。TechRadar 轉述調查結果指出，62% 受訪者看到這類成本，82% 則表示擴大 AI 會帶來未預期的營運複雜度。這些數字仍然是受訪企業的回覆，不等於每個產業或每個雲端環境都會遇到相同比例。
但成本結構本身值得注意。模型每次推論的價格可能很清楚，真正難算的是為了讓模型取得資料而產生的資料傳輸、快取、儲存與同步費用。若企業買了專用硬體卻沒有足夠工作負載，閒置時間也會把每件任務的平均成本推高。
安全、治理與 MLOps 仍是代理系統的主要障礙
Google Cloud 報告指出，約 4/5 的組織把安全、治理或 MLOps 列為重要挑戰，52% 則使用 hybrid multicloud 架構，91% 的受訪領導者會把耗電量納入硬體選擇。這幾個結果放在一起看，代表企業並不是只想把模型放到一台更快的機器上，而是要同時管理資料位置、權限、成本和能源。
代理系統會替使用者採取動作，治理問題因此更細。團隊需要知道代理使用了哪個模型、查了哪些資料、呼叫了哪些工具、何時重試，以及最後由誰批准。MLOps 也要從單一模型的監控，延伸到多個代理、工具和工作流的整體狀態。
雲端供應商的調查也在替下一代基礎設施定義問題
Google Cloud 發布這份報告，一方面提供企業評估基礎設施的參考，另一方面也把市場需求對準雲端服務商能提供的產品。報告強調混合多雲、能源效率、治理與基礎設施現代化，這些都會成為雲端業者競爭的一部分。讀者在使用數字時，仍要把「供應商調查」和獨立市場研究分開看。
對台灣企業而言，最實際的問題是先找出自己的 inference tax。可以從資料搬移費、儲存成長、GPU 閒置率、重試次數和人工處理時間開始記錄，再決定要升級硬體、調整資料位置、改用混合雲，或限制代理能做的事情。83% 是一個市場訊號，真正的投資決策仍要建立在自己的工作負載和帳單上。
如果企業仍處在試驗階段，未必需要一次更換整套基礎設施。可以先把代理能使用的資料範圍縮小，為高頻工作建立快取與重試上限，並把長時間任務和即時服務分開監控。這些做法能先把成本和故障來源量化，再決定哪些硬體、網路或雲端區域值得投入。對採購部門來說，這也能把「要不要升級 AI 基礎設施」拆成幾個有帳單和監控數字可驗證的問題。
消息來源：Google Cloud Blog、Google Cloud 2026 State of Infrastructure 報告、TechRadar Pro。
