自选
我的自选
查看全部
市值 价格 24h%
  • 全部
  • 产业
  • Web 3.0
  • DAO
  • DeFi
  • 符文
  • 空投再质押
  • 以太坊
  • Meme
  • 比特币L2
  • 以太坊L2
  • 研报
  • 头条
  • 投资

免责声明:内容不构成买卖依据,投资有风险,入市需谨慎!

AI奇点:能力超越控制

2026-09-15 19:47:15
收藏

真正的断层并非机器超越人类之时

真正的断层,不在于机器何时在能力上超越人类,而在于技术能力的复合增长速度超过了机构吸收和消化的速度。

在最近一次风险委员会会议上,问题直截了当:我们的人工智能(AI)风险披露是否依然准确?

答案却并不简单。自上次审查以来,技术发生了实质性变化。系统能够处理更长的任务,使用更多的工具,在更少的人工监督下运作,并直接参与软件和研究的开发。然而,风险框架并未以同样的速度演进。

这并不意味着必然出现了故障。这正是问题所在。董事会被要求批准一个控制环境,该环境是为一种技术设计的,但其能力特征已经超出了其底层假设的范围。

这正是“奇点”辩论的起点:不应从预测机器何时超越人类的观点出发,而应从一个不那么神秘、但紧迫得多的治理问题开始:当人工智能的能力复合速度快于机构能够吸收、衡量和控制的速度时,会发生什么?

这种断层不需要智能爆炸、特定的日期或对人工通用智能(AGI)定义的共识。它已经是一个控制问题。

通常被混淆的三种对话

公众关于人工智能的许多争论之所以混乱,是因为将三个不同的概念视为一体。

能力(Capability)是人工智能系统能做什么。它是经验性的、可测试的,并且正在迅速变化。

自主性(Autonomy)是决策和行动循环中有多少部分可以在没有人类直接干预的情况下运行。这是当前治理挑战的核心所在。生成一个答案的人工智能系统是一回事;而确定下一步行动、访问工具、执行操作、评估结果并继续运行的系统则是截然不同的另一回事。

奇点(The Singularity)是一种推测性的断层:即人工智能驱动的改进变得足够自我强化,以至于传统的人类预测变得不可靠的那个临界点。

这三者不可互换。董事无需相信技术奇点迫在眉睫,就能认识到日益增加的自主性创造了一个不同的控制环境。同样,有人可能相信人工智能的能力最终会产生变革性影响,但并不认为智能爆炸是不可避免的。

这一区分至关重要,因为治理不能等到第三个问题得到回答后,才针对第二个问题采取行动。

闭环尚未形成,但这并不意味着无关紧要

支持这一论点的最有力证据也是最不具轰动效应的。前沿人工智能实验室正越来越多地将部分人工智能开发工作委托给人工智能系统本身。Anthropic 现在描述了一种进展过程:从人类编写代码,到编码代理编写和编辑大量代码,再到代理运行代码并将工作委派给其他代理。Anthropic 报告称,截至2026年5月,其合并到生产代码库中的超过80%的代码是由Claude编写的。

但重要的限定条件是什么还没有发生

研究方向仍由人类主导。闭环并未完全实现自主。Anthropic 明确表示,递归式自我改进尚未以完全自主的方式发生,且并非不可避免。Sam Altman 也类似地描述了当前状态为递归式自我改进的“幼虫”阶段,同时承认这与人工智能系统自主重写自身不同。

这种诚实使治理论证更加有力,而非减弱。

相关的问题不是闭环是否已闭合,而是闭环中有多少部分已经从人类执行转向机器执行——以及机构的控制措施是否随之调整。

治理遵循不同的时钟

监管说明了相同的节奏问题。

美国政府围绕某些前沿模型建立了一个自愿框架,包括在发布前政府访问受管制的模型,以及用于确定模型是否达到前沿阈值的机密基准测试流程。该框架明确未采取强制许可或事前审批。(白宫)

与此同时,美国国家标准与技术研究院(NIST)正在开发关于代理身份和授权的实用方法,包括识别、授权、审计、不可否认性以及针对提示注入的控制措施。(NIST计算机安全资源中心)

方向意义重大。治理工具正在围绕能够行动的系统进行重新设计,而不仅仅是生成信息的系统。

金融监管机构也使董事会的责任变得同样明确。英国金融服务管理局(FCA)、英格兰银行和财政部表示,公司应确保其董事会和高级管理人员充分理解前沿人工智能风险,以便设定战略方向并监督控制职能。(FCA)

这并不是监管机构失败的证据。这是结构性现实的证据:技术首先发生变化;机构随后正式化其应对措施。

因此,董事会不能将监管确定性作为采取行动的前提。

真正的问题可能是吸收差距

正是在这里,“奇点”对话变成了一个企业问题。

一个组织可能拥有非凡的人工智能能力,但在结构上无法吸收它。

一家金融机构可能部署了一个能够进行复杂分析的代理,但其控制框架假设每个重要建议都由人类分析师做出。

一家零售商可能在定价、库存和客户参与度方面自动化决策,而问责制仍然围绕人类经理组织。

一家科技公司可能允许人工智能系统以前所未有的速度生成和测试软件,而安全审查、变更管理和事件响应仍然围绕人类开发周期设计。

能力已经改变。机构却没有。

我在审计和风险委员会、金融服务、零售、媒体、奢侈品、体育和技术领域的经验强化了同样的模式:能力可以同时出现在任何地方,而吸收率根据监管、遗留基础设施、劳动力结构和控制成熟度的不同而存在巨大差异。

这种差异很重要。从风险和承保的角度来看,我看到人工智能风险停止成为白皮书并开始成为保费定价依据的那个节点。保险公司、投资者、监管机构和董事会最终都会提出类似的问题:组织能否证明其理解并控制了其所产生的风险敞口?

治理是否应该与人工智能一样快?

在这里,我想对自己提出的论点提出挑战。

显而易见的回应是让治理跑得更快。但更快的治理并不自动等同于更好的治理。如果控制措施比高管理解它们的速度还要快,治理就会变成官僚主义。如果每一项人工智能能力都需要另一个委员会、审批层、仪表板和政策例外,组织可能会创造出另一种风险:使负责任部署过于缓慢从而失去战略可行性的风险。

因此,目标或许不应该是“与技术同步的治理”,而应该是“足以维持控制的治理速度”。

这一区分很重要。董事会面临的正确问题可能不是:“我们是否批准了这一人工智能能力?”而可能是:“自上次批准以来,能力、自主性、访问权限或后果特征发生了什么变化?我们的控制措施是否相应调整?”

这是一个更难的问题,也是一个更有用的问题。

治理工具

大多数关于人工智能的评论都以警告结束。董事会需要更实用的东西:一个假设地面会移动的机制。

答案不是更好地预测奇点何时可能发生,而是一个动态治理门槛,用于衡量机构是否仍具备控制已部署内容的能力。

该工具应具备五个特征:

  1. 明确的阶段关口:人工智能项目应通过评分标准推进,而不是叙事性的状态更新。应明确评估能力、自主性、访问权限、控制覆盖范围、韧性和问责制。
  2. 部分积分:组织需要看到他们在哪些方面有所改进,而不将进步误认为是就绪状态。
  3. 硬性通过阈值:如果未达到关键控制要求,乐观情绪不应产生覆盖。
  4. 与分数分离的决策里程碑:董事会可能有意识地接受某种风险。这是合法的治理行为。但判断应保持可见,作为判断而非伪装成数字。
  5. 更快的刷新频率:如果能力在季度董事会会议之间发生实质性变化,季度报告在结构上无法提供足够的可见性。重大前沿人工智能项目可能需要每周刷新。

我在一个实时数字银行项目中运行这种模式。可转移的经验教训很简单:当环境快速移动时,治理必须衡量移动,而不仅仅是记录它。

因此,董事会应该能够回答以下问题:

  • 系统现在能做哪些在上次审查中做不到的事情?
  • 它可以采取哪些不需要人类直接干预的决策或行动?
  • 它可以访问哪些系统、数据、凭证和第三方?
  • 哪些控制措施在这些行动之前、期间和之后发挥作用?
  • 有哪些证据表明这些控制措施有效?
  • 剩余风险发生了什么变化?
  • 机构吸收这种能力的能力是否与能力本身同步?

如果管理层无法回答这些问题,问题就不再仅仅是人工智能成熟度问题,而是治理成熟度问题。

董事会应辩论的问题

奇点最终可能被证明是一种智能断层。但董事会无需解决这一哲学问题。

有一个更迫切的断层值得治理:机器能力的复合速度快于机构控制速度的可能性。

其背后存在着合理的辩论空间。也许答案是更强的治理。也许答案是设计更好的治理。也许在某些情况下,答案是直到机构能够吸收该能力之前,不要部署它。

最后这一立场会让一些技术领袖感到沮丧。这应当如此。治理的目的不是让部署变得舒适。

但治理也不应成为机构瘫痪的借口。挑战在于知道两者的区别。

因此,董事会的问题不是:“机器何时会超越我们?”而是:“在我们知道机构能够吸收它之前,我们愿意治理多少自主性?”

这是一个董事会可以回答的问题。而且,与奇点的日期不同,这个问题不能被推迟。

奇点是一个关于机器的问題。治理缺口是一个关于我们自己的问题。

展开阅读全文
更多新闻