OpenAI 签约四家独立评估机构,强化 AI 模型对齐与安全审查
OpenAI 已与四家独立的评估机构签订合同,旨在对其人工智能模型的“对齐”(Alignment)及安全机制进行严格检查。这些评估机构将根据合同规定的范围,对 OpenAI 的内部模型及相关系统进行深入审查。
OpenAI 于 11 月 16 日正式宣布,已与 Apollo Research、METR、Transluce 和 Goodfire 签署了第一阶段评估协议。根据协议,各机构可在必要范围内访问模型检查点、源代码、训练与评估数据、监控系统以及技术文档等关键资源。
AI 对齐:超越规模扩展的复杂挑战
AI 对齐是指确保人工智能行为符合人类意图和价值观的过程。这并非单纯通过提升模型性能即可解决,还需要在训练过程及运行期间持续监控,以防止出现偏离预设意图的行为。
微软首席执行官萨提亚·纳德拉(Satya Nadella)在 10 月 26 日接受 20VC 采访时指出,过去业界曾认为随着模型规模的扩大,对齐问题会自然得到解决,但现实情况可能更为复杂且独立。他在随后的微软 Ignite 主题演讲中再次强调,即使扩展定律(Scaling Laws)继续生效,人们对 AI 对齐原理及其运作机制的理解仍然任重道远。纳德拉特别提出,需要设计一种将“智能供给”与“智能控制权”相分离的架构。
坚持人类监督与民主问责
OpenAI 首席执行官山姆·阿尔特曼(Sam Altman)在 9 月 23 日的联合国安全理事会发言中表示:“随着 AI 能力日益增强,人类必须始终处于决策的核心位置。”他强调,不应将人类的判断与控制权完全委托给 AI 系统。此外,阿尔特曼指出,重要决策不能仅由企业实验室内部决定,而需建立向政府负责的民主程序,并提议制定国内外通用的标准,以评估 AI 的能力、风险及安全装置,从而维持有效的人类监督。
独立评估机构的权利与任务分工
此前,“AI 评估者论坛”(AI Evaluator Forum)曾发布公开信,呼吁保障评估者的独立性与访问权限,该信件已获超过 200 人联署。信中要求保障评估者的编辑权、财务独立性、多机构参与权,并建立防止报复机制及充分的内部访问通道。同时,建议允许评估者公开结果及依据,但对敏感信息设定限期删除程序。
此次签约的四家机构各自承担不同的评估任务:
- Apollo Research:重点审查模型是否可能隐藏执行违背开发者意图的行为,以及安全装置能否有效探测此类行为。
- METR:针对 OpenAI 最大的强化学习执行过程,评估现有测试和监控所遗漏的对齐问题。
- Transluce:负责检查训练后对齐评估的质量与覆盖范围。
- Goodfire:投入可解释性研究人员,深入分析模型内部结构,并参与训练过程的监控、调试及对齐评估。
安全措施与补偿机制
为确保数据安全与知识产权保密,评估的访问范围和资源均事先达成共识。若直接访问敏感的模型权重或结构可能导致知识产权泄露,OpenAI 将与研究机构共同探讨替代分析方案。处理机密资料的评估人员需在 OpenAI 办公室内使用公司设备,并遵守与 OpenAI 员工相同的最高安全标准。
OpenAI 表示,其董事会下设的独立监督委员会将对整个评估过程及结果进行审查,并确保收到未经修改的报告。关于报酬条件,Apollo Research 和 Goodfire 将获得金钱补偿,但该补偿不与评估结果挂钩;METR 和 Transluce 虽无金钱报酬,但可获得用于评估的 API 额度或计算资源。
OpenAI 确认,评估机构有权独立发布评估结果。然而,机构保留删除机密信息的权利,并在存在安全与风险隐患需时间整改时,可申请延迟公开。此外,OpenAI 与 Transluce 计划于 2027 年初进行为期约 8 周的后续评估,重点关注对新模型的访问权限以及评估结果如何影响产品发布决策。

资金费率
资金费率热力图
多空比
大户多空比
币安/欧易/火币大户多空比
Bitfinex杠杆多空比
账号安全
资讯收藏
自选币种