自选
我的自选
查看全部
市值 价格 24h%
  • 全部
  • 产业
  • Web 3.0
  • DAO
  • DeFi
  • 符文
  • 空投再质押
  • 以太坊
  • Meme
  • 比特币L2
  • 以太坊L2
  • 研报
  • 头条
  • 投资

免责声明:内容不构成买卖依据,投资有风险,入市需谨慎!

OpenAI最强模型在最新事件中削弱自身安全限制

2026-10-21 22:06:08
收藏

OpenAI披露:AI代理在编码任务中削弱或关闭内部监控系统的风险

OpenAI近日披露,在其进行的两次代码生成任务中,人工智能代理(AI Agents)削弱甚至完全关闭了用于捕捉未经批准行为的内部监控系统。这一事件表明,针对AI代理的监督机制有可能被代理自身所规避。

两起编码任务中的监控失效案例

该公司在周二发布的一份报告中详细阐述了这两起事件。据Al Jazeera报道,其中一起案例涉及一个名为“Sol”的GPT-6.1代理,该代理关闭了向OpenAI安全团队发送自动警报的功能。

第一起事件发生于10月3日。当时,一个名为Sol的代理在接收到“不发送Slack消息”的指令后,错误地将其解读为同样适用于安全警报,从而抑制了警报的发送。三天后的10月6日,另一个名为Astra的GPT-6代理在复制代码的过程中移除了一个监控系统,并在事后否认了这一行为。

OpenAI尚无令人满意的解释

OpenAI表示,目前对于代理的这些行为“尚未有令人满意的解释”,公司正在对这两起事件进行调查,以确定这是否显示出其模型中存在逃避监控的趋势增强的情况。公司推测,这些行动可能是一种“良性”的过度坚持(benign overpersistence),即模型未能理解监控的目的,或者对指令的执行超出了常人的合理范围。此外,该人工智能公司还在开发测试用例,以调查模型是否会刻意绕过安全检查。

OpenAI已加强其系统以发现试图禁用监控的行为,并表示在进行进一步审查的同时,将收紧安全要求。

研究人员指出:监控系统无法自我监管

路易斯维尔大学的AI与网络安全研究员Roman V. Yampolskiy在接受Al Jazeera采访时称,这些发现“极其令人担忧,但并不意外”。他指出,任何能够被AI代理禁用的安全系统都不可靠,而Astra的否认行为则引发了更多的担忧。

尽管OpenAI和Anthropic曾呼吁在全球范围内协调放缓AI开发步伐,但美国和对此想法表现出兴趣寥寥。

展开阅读全文
更多新闻