雲端基礎設施AI產業

Google Cloud 把 Claude 正式服務推進跨區域部署,提供區域端點與 100 萬 token context

Google Cloud 把 Claude 正式服務推進跨區域部署,提供區域端點與 100 萬 token context Google Cloud 電網, AI, 產業, 能源

Google Cloud 7 月 14 日宣布,Claude 已可在 Google Cloud 的 Agent Platform 上以正式環境服務運作。企業可以使用標準 REST/JSON 介面呼叫 Claude,並沿用 Google Cloud 的 IAM、VPC、Cloud Logging 與 Cloud Monitoring,不必為每個模型另建一套身分與營運工具。

Google Cloud 把 Claude 正式服務推進跨區域部署,提供區域端點與 100 萬 token context Google Cloud 電網, AI, 產業, 能源

Google Cloud 同時提供 global、regional 與 multi-region endpoints。global endpoint 會把請求導向可用容量,regional endpoint 將提示、回應與中間狀態留在指定地理區域,multi-region endpoint 則在符合資料駐留條件的多個區域間調度。

Google Cloud 將 Claude 放上 Agent Platform 正式環境

Claude 在 Agent Platform 上使用 Google Cloud 管理的基礎設施,企業可以搭配 provisioned throughput、批次預測與 agent layer。Google Cloud 也列出最多 100 萬 token 的上下文能力,讓一次工作能帶入較長的程式碼、文件或工作流程資料。

這些功能仍受模型版本、區域容量、帳戶配額與服務條款影響。企業選擇長上下文或批次工作時,還要把延遲、輸出量、資料保留與權限設定放在同一個部署設計中。

Claude 區域端點把提示與回應留在指定地理區域

Google Cloud 對 regional endpoint 的說明是,提示、模型回應與中間狀態會留在指定的地理區域;multi-region endpoint 則可在美國或歐洲等符合條件的區域範圍內使用可用容量。這種差別直接影響有資料駐留要求的金融、醫療與政府工作負載。

Google Cloud 把 Claude 正式服務推進跨區域部署,提供區域端點與 100 萬 token context Google Cloud 電網, AI, 產業, 能源

區域端點只處理 Google Cloud 對端點與模型服務的資料路徑,企業自己的應用程式、日誌、備份與第三方工具仍可能有另外的資料流。Google Cloud 也列出 FedRAMP High 與 HIPAA 等合規支援,但實際適用性仍取決於企業選用的服務與設定。

Google Cloud 以多區域端點調度容量

全球端點的設計是把請求導向可用的模型容量,多區域端點則讓企業在一組指定地理範圍內使用跨區域資源。Google Cloud 把這些端點放在同一套 Claude 服務中,讓部署者可以依資料位置、延遲與容量需求調整,而不必更換模型呼叫介面。

Google Cloud 表示,prompt caching 最多可降低 80% 延遲與 90% 成本;這是公司的產品說明與上限宣稱,實際節省幅度會受快取命中率、提示長度、模型與請求模式影響。

企業可沿用 IAM、VPC 與監控工具

Claude 使用標準 REST/JSON 介面後,既有的 IAM 權限、VPC 網路、Cloud Logging 與 Cloud Monitoring 可以接到同一個營運流程。企業仍須自行設定哪些服務帳戶能呼叫模型、哪些日誌可保留,以及提示內容是否需要遮罩或分級管理。

消息來源:Google Cloud 公告Google Cloud 多區域端點說明Google Cloud Vertex AI Claude 文件

延伸閱讀
Google 的下一個目標:打造「通用」AI 助理,能幫你做所有事
文章・頭條
FERC 要六大電網營運商重寫大型負載規則,AI 資料中心接電進入監管加速期
文章・能源
Meta 加拿大首座 AI 資料中心綁定 Alberta 932MW 電廠,電力成為雲端擴建前提
文章・能源
Written by
黃郁棋

《科技人》站長,在科技業打滾十年的老屁股,每天都覺得自己要被新技術取代了,完了完了。

打賞科技人|祝您有個美好的一天