ChatGPTAI模型產業

OpenAI 發布 GPT-Red 自動紅隊模型,測試 prompt injection 並強化 GPT-5.6

OpenAI 發布 GPT-Red 自動紅隊模型,測試 prompt injection 並強化 GPT-5.6 能源, AI, 產業

OpenAI 於 2026 年 7 月 15 日公布 GPT-Red,一個只在內部使用的自動紅隊模型。OpenAI 讓它透過 self-play 強化學習搜尋 prompt injection 攻擊,並用產生的攻擊資料對 GPT-5.6 進行對抗訓練;公司表示,GPT-Red 在內部間接 prompt injection arena 的成功率為 84%,人類紅隊在同一評測對 GPT-5.1 的成功率為 13%。

OpenAI 發布 GPT-Red 自動紅隊模型,測試 prompt injection 並強化 GPT-5.6 能源, AI, 產業

Prompt injection 是把惡意指令放進網頁、電子郵件、工具回應或程式碼儲存庫,誘使 AI agent 偏離原本任務。當 agent 能讀取企業資料或執行外部操作時,攻擊可能導致資料外洩、錯誤交易或未授權行動;上述百分比均是 OpenAI 自行建立與執行的內部評測。

GPT-Red 的特色在於自動產生大量對抗案例,再把成功攻擊回饋到模型訓練和安全測試。OpenAI 公開的用途是找出模型在多步驟任務、工具操作與資料讀取時的失效方式,並沒有把 GPT-Red 列為可供 API 客戶呼叫的產品。

GPT-Red 用 self-play 產生攻擊與防禦樣本

OpenAI 描述的訓練方式,是讓攻擊模型與多個具不同防禦策略的語言模型同時學習。攻擊方會因成功讓 agent 違反安全邊界而獲得回饋,防禦方則要在拒絕惡意指令的同時完成原本任務,兩邊持續產生新的對抗案例。

GPT-Red 的用途是找出部署模型可能忽略的攻擊路徑,而非直接提供給一般使用者。OpenAI 表示,GPT-Red 與已部署模型分開保存,並把它當作內部安全研究系統;公司也說明,完整研究方法預計在稍後以預印本形式公開。

自動紅隊模型和傳統人工測試的差別,在於它能快速改寫攻擊提示、測試不同上下文並反覆挑戰防禦模型。成功率不能單獨代表產品安全程度,因為測試任務、工具權限和防禦策略的設計都會影響結果。

OpenAI 發布 GPT-Red 自動紅隊模型,測試 prompt injection 並強化 GPT-5.6 能源, AI, 產業

OpenAI 在 GPT-5.6 Sol 上量測 prompt injection 改善

OpenAI 表示,GPT-5.6 Sol 在直接 prompt injection benchmark 的失敗次數,比四個月前最好的生產模型少約 6 倍;在另一項測試中,GPT-5.6 Sol 只對 GPT-Red 的直接注入失敗 0.05%。這些結果是公司的模型評測,不等同於所有第三方 agent 或實際部署環境的安全保證。

在間接注入 arena 中,OpenAI 報告 GPT-Red 對 GPT-5.1 的成功率為 84%,人類紅隊為 13%。測試涵蓋的任務、樣本數、攻擊是否重複使用,以及人類紅隊的訓練條件,會影響比較結果;公開文章目前提供的數據仍以 OpenAI 的實驗設計為準。

OpenAI 另報告,Fake CoT 攻擊在 GPT-5.1 上的成功率超過 95%,在 GPT-5.6 Sol 上降到低於 10%;公司並稱 GPT-5.6 Sol 只對 GPT-Red 的直接注入失敗 0.05%。這些數據都來自 OpenAI 的安全評測,尚未有同等條件的外部測試可供比對。

OpenAI 發布 GPT-Red 自動紅隊模型,測試 prompt injection 並強化 GPT-5.6 能源, AI, 產業

GPT-Red 成功攻擊 Vendy 與 Codex CLI agent

OpenAI 讓 GPT-Red 攻擊 Vendy 自動販賣 agent,測試目標包括把商品價格改成 0.50 美元、以 0.50 美元購買價值超過 100 美元的商品,以及取消另一筆訂單。這些案例用來檢查 agent 的交易護欄是否能阻止工具操作,而不只是判斷文字回答是否安全。

OpenAI 也用 GPT-Red 測試 Codex CLI 的 GPT-5.4 mini,讓它處理 10 個保留的資料外洩任務。公司表示,GPT-Red 在這組測試的效率和效果都高於以提示驅動的 GPT-5.5 基線;OpenAI 尚未公開完整任務、攻擊提示和外部複現結果。

Vendy 測試把模型安全與實際交易動作連在一起,攻擊成功時可能改變價格或訂單狀態。Codex CLI 測試則針對資料外洩,兩者分別代表具備工具操作和程式開發能力的 agent 風險;OpenAI 尚未說明這些測試是否涵蓋第三方工具或真實客戶資料。

消息來源:OpenAI、The Hacker News。

延伸閱讀
AWS 在 Hyderabad Bharat Future City 新資料中心動工,印度雲端投資規模上看 210 億美元
文章・產業
›
NVIDIA 發布 Nemotron 3 Embed 開放 embedding 模型,8B 版主打 32K context 與 RAG
文章・產業
›
小米手機如何強制更換個別 APP 圖標?免 Root 解決缺圖標問題
文章・頭條
›
Written by
黃郁棋

《科技人》站長,在科技業打滾十年的老屁股,每天都覺得自己要被新技術取代了,完了完了。

打賞科技人|祝您有個美好的一天

科技人原創 BGM

音樂目錄載入中

預設暫停,等你按下播放

0:00 0:00