自选
我的自选
查看全部
市值 价格 24h%
  • 全部
  • 产业
  • Web 3.0
  • DAO
  • DeFi
  • 符文
  • 空投再质押
  • 以太坊
  • Meme
  • 比特币L2
  • 以太坊L2
  • 研报
  • 头条
  • 投资

免责声明:内容不构成买卖依据,投资有风险,入市需谨慎!

英伟达在H100 GKE推理食谱中预置AI任务列表

2026-11-12 05:08:42
收藏

英伟达将开源工具 k8s-aibom 整合至 GPU 基础 Kubernetes 环境,实现 AI 作业信息记录

英伟达(NVIDIA)已将其基于 GPU 的 Kubernetes 环境配置验证工具与开源工具 k8s-aibom 进行整合,旨在记录 AI 作业信息。目前的示例组合包括 AICR 1.2.0 和 k8s-aibom 1.6.2。

英伟达于 11 日在其技术博客中公开了此次整合内容。该功能通过在管理集群设置的 AICR 配方中添加 AI 作业清单来实现。AICR 负责管理平台组件(如驱动程序和网络)的版本与状态,而 k8s-aibom 则在该环境中识别支持的 AI 作业,并列出已部署的模型及推理软件。

功能特性与适用范围

AI 作业列表功能默认包含在使用 H100 GPU 的 GKE 推理配方及其继承的 Dynamo 配方中。对于其他 GKE 配方,用户可在生成阶段选择添加,但并非所有 AICR 配方都会自动应用此功能。

生成的列表包含检测到的模型、推理运行时、代理程序以及检索增强生成(RAG)组件及其相关属性。操作人员可以查看构成作业的各个元素,并确认每个属性的来源位置。

标准化格式与可信度分级

k8s-aibom 将信息生成为符合 CycloneDX 1.6 标准格式的机器学习配置清单(ML-BOM)。每个属性都附带判断依据的位置和可信度等级。可信度分为以下四类:

  • 声明值(Declared):配置中明确指定的值。
  • 推断值(Inferred):工具根据上下文推导出的值。
  • 未解析值(Unresolved):无法确认的值。
  • 已验证值(Verified):根据设定的信任基准,通过签名验证的模型主张。

这种分级机制使得操作人员能够清晰区分来自配置的信息与工具检测或推断出的信息。

背景与技术细节

k8s-aibom 由谷歌云(Google Cloud)于 2026 年 7 月 13 日发布。这是一个开源控制器,旨在发现 Kubernetes 集群中的 AI 运行时并生成机器学习配置清单。此前,媒体曾报道过管理 GPU 集群组件版本和状态的 AICR 操作流程;此次整合不仅涵盖了平台配置管理,还进一步记录了运行其上的 AI 作业的配置信息。

列表的生成条件如下:

  • 当受支持作业中存在可识别的 AI 信号时,系统会在管理员选择的命名空间内生成列表。
  • 若缺乏支持对象或信号,相关作业可能不会出现在列表中。
  • 虽然命名空间的选择决定了列表生成的目标范围,但控制器的读取范围并不局限于该命名空间,而是会读取整个集群的作业和 Pod 规范。

注意事项与局限性

列表可能在 Pod 实际运行之前生成。即使状态标记为 Ready=True,镜像下载也可能尚未完成,因此仅凭列表生成或准备状态无法判断作业执行是否成功。

项目存储库明确指出,该列表不构成合规性认证的依据。AI 作业清单仅作为记录配置信息的手段,而非满足监管要求的认证证明。此外,运行时观察到的 AIBOM 信息本身未经过签名验证,英伟达也说明 AICR 中的模型签名验证功能默认处于禁用状态。

资源消耗测试数据

英伟达介绍的资源使用量测试针对的是 k8s-aibom 1.6.1 版本。在 CPU 专用节点上保持作业 Pod 待机的 15 分钟观察期内,API 服务器请求频率约为每分钟 4 次,控制器的平均 CPU 使用量为 2.2 毫核(millicores),内存使用量为 28~34 MiB。需要注意的是,这些数据并未涵盖实际服务吞吐量或整个 GPU 集群的性能测试结果。

展开阅读全文
更多新闻