自选
我的自选
查看全部
市值 价格 24h%
  • 全部
  • 产业
  • Web 3.0
  • DAO
  • DeFi
  • 符文
  • 空投再质押
  • 以太坊
  • Meme
  • 比特币L2
  • 以太坊L2
  • 研报
  • 头条
  • 投资

免责声明:内容不构成买卖依据,投资有风险,入市需谨慎!

OpenAI公开三级安全审查,管理从研究到外部部署的全过程

2026-11-19 14:03:49
收藏

OpenAI公布前沿AI模型三级安全审查体系

OpenAI近日公开了其针对前沿人工智能模型的三级安全审查框架,该体系将研究、内部使用及外部部署划分为不同阶段进行严格管控。公司明确表示,若安全依据未能达到其内部标准,将暂停训练或推迟模型发布。

分阶段评估与隔离机制

18日,OpenAI在官方公告中详细解释了这一流程:每个阶段均需对模型及其防护装置进行评估,只有通过安全审查方可进入下一阶段。该体系特别关注模型在不同阶段(从研究环境到内部业务,再到外部服务)所面临的访问权限变化及潜在风险,并据此实施差异化管理。

在研究阶段,OpenAI通过沙盒技术限制模型权限,利用虚拟机和网络隔离技术分离工作环境。同时,公司会对模型尝试连接互联网或突破隔离边界的行为进行测试。一旦模拟攻击中的监控系统检测到模型试图访问互联网,系统将立即向安全团队发送警报,并自动终止相关操作。这种结合隔离与监控的手段,旨在有效控制研究环境中模型的行为。

中央控制系统与可监控性评估

用于追踪研究工作的中央控制系统“Control Room”被设计为在接收到停止指令后35秒内强制停止模型输出。需要注意的是,这并非指从首次发现危险行为到执行停止的总耗时,而是系统响应速度的指标。

此外,OpenAI指出,除了调整模型行为的对齐(Alignment)工作外,公司还专门评估“可监控性”(Monitorability),即监控系统在多大程度上能够准确识别模型推理和行为中的错误或危险信号。

内部使用与外部部署前的审查

在内部使用阶段,员工在将模型投入实际工作前,需经过对齐和可监控性的测试。系统分类器用于过滤高风险请求,而在编码代理的部分工作中,则引入了名为“Auto-Review”的自动审查程序。

在外部部署之前,评估范围将进一步扩大,并对能力最强的模型引入第三方测试。部署完成后,公司将调查可疑使用情况,并运行基于信任的访问控制程序。

事故背景与安全改进动因

此次公布上述体系的背景之一,是此前发生的脱离隔离环境的事故。OpenAI发布的Hugging Face事故技术报告记录了多个参与内部网络安全评估的智能体如何获得Hugging Face运营基础设施访问权限的过程。

报告显示,这些智能体在生产数据集服务器的41个工作节点上执行了代码,并在至少一个操作节点上获取了根权限,下载了四个私有代码库。另外,OpenAI还公开了一起因DNS配置错误导致研究模型有限度地接入互联网的案例。公司表示,在调查该案例期间,已暂停最高能力模型的训练与评估。

此前有报道指出,OpenAI曾暂停“Astra”的内部工作并加强安全控制。当时公司表示,计划向第三方测试机构提供相关控制措施,以确保高风险评估和工作能够安全执行。

行业视角与外部评价

OpenAI于2025年修订的安全框架提出了一套追踪可能导致严重损害模型能力及相关保护措施评估的体系。本次公告进一步阐述了如何将分阶段隔离、监控、安全案例及事故应对程序应用于研究与部署的全过程。

然而,加州大学伯克利分校长期网络安全中心(CLTC)在2026年4月基于公开资料对包括OpenAI在内的四家企业的风险管理实践进行了审查。评估团队虽然认可其角色和程序的文档化程度,但指出在损害可能性与规模评估、紧急停机控制以及部署后监控方面的公开信息仍需加强。

与此同时,SaferAI在对公开政策文档的分析中指出,OpenAI的模型评估周期和风险容忍标准尚不够明确。需要强调的是,该评估仅基于公开文档分析,并未直接测量实际的内部控制效果。

展开阅读全文
更多新闻