自选
我的自选
查看全部
市值 价格 24h%
  • 全部
  • 产业
  • Web 3.0
  • DAO
  • DeFi
  • 符文
  • 空投再质押
  • 以太坊
  • Meme
  • 比特币L2
  • 以太坊L2
  • 研报
  • 头条
  • 投资

免责声明:内容不构成买卖依据,投资有风险,入市需谨慎!

OpenAI借助AI红队强化GPT-5.6抵御提示注入攻击

2026-07-16 05:04:01
收藏

OpenAI 推出自动化安全测试系统 GPT-Red

OpenAI 发布了一款名为 GPT-Red 的自动化人工智能系统,旨在检测其语言模型中的安全漏洞。该系统名称源自网络安全领域的“红队测试”——一种在攻击者利用漏洞之前,主动尝试破坏系统以识别弱点的实践方法。

在周三发布的博文中,OpenAI 表示,该工具帮助 GPT-5.6 在部署前增强了抵御提示注入攻击的能力。“随着模型能力的提升,安全性与一致性也必须同步发展,”OpenAI 在社交媒体上写道,“红队测试至关重要,但目前的方法难以规模化,形成了关键瓶颈。GPT-Red 正是我们解决这一问题的方式之一。”

GPT-Red 的工作原理与训练方法

据 OpenAI 介绍,GPT-Red 通过自我对弈强化学习进行训练,能够生成越来越强大的提示注入攻击,同时防御模型学会抵抗这些攻击。公司表示,这些攻击被纳入 GPT-5.6 的训练过程。报告显示,GPT-Red 在内部评估场景中的成功率达 84%,而同一测试中人类红队成员的成功率仅为 13%。

“GPT-Red 通过对抗性自我对弈进行学习,其目标是提示注入各种具有挑战性的防御模型,”OpenAI 写道,“GPT-Red 发现的每一次成功攻击都会被用来改进这些防御模型,从而推动 GPT-Red 持续寻找更广泛、更复杂的缺陷。”

实际案例:操纵自动售货机代理

在一项案例研究中,OpenAI 表示,该系统成功操纵了一个自主售货机代理,使其降低价格、订购折扣库存,并在漏洞被披露和修复之前取消了另一位客户的订单。

背景与行业趋势

GPT-Red 是 OpenAI 在 ChatGPT 公开发布后多年来网络安全工作的一部分。2023 年,该公司启动了 OpenAI 红队测试网络,招募外部网络安全研究人员和领域专家,在发布前对 ChatGPT 及其他模型进行安全漏洞探测。GPT-Red 在此基础上进一步自动化了大部分流程,利用 AI 模型生成提示注入攻击及其他对抗性测试,其规模远超人类研究人员单独完成的能力。

OpenAI 的这一公告反映出一种更广泛的趋势:利用人工智能来保障人工智能的安全。本月初,以太坊基金会表示,已部署 AI 代理对关键网络基础设施进行红队测试,并在以太坊共识客户端使用的软件中发现了一个漏洞。研究人员指出,AI 代理能够比人类搜索更大的代码库,但挑战已从发现潜在漏洞转向证明哪些漏洞是可利用的。

据 OpenAI 透露,GPT-Red 将保持为内部工具,因为它包含特意开发的攻击性能力。“我们相信,借助 GPT-Red,我们已开始解锁类似的安防飞轮效应——今天使用的模型可以用来让明天的模型更坚固、更一致、更可信,”OpenAI 表示。

展开阅读全文
更多新闻