自选
我的自选
查看全部
市值 价格 24h%
  • 全部
  • 产业
  • Web 3.0
  • DAO
  • DeFi
  • 符文
  • 空投再质押
  • 以太坊
  • Meme
  • 比特币L2
  • 以太坊L2
  • 研报
  • 头条
  • 投资

免责声明:内容不构成买卖依据,投资有风险,入市需谨慎!

GLiDE:系统性能虽居首位,但判断可靠性仅排第七

2026-11-13 21:19:08
收藏

GLiDE在SO-Arena评估中综合性能领先,但判断可靠性排名中等

在SO-Arena评估中,GLiDE模型在System One系列模型中展现了最高的综合性能,但在判断可靠性方面,其21个参评模型中仅位列第7。从整体综合性能来看,基于System Two架构的两个模型表现更为优异。

多维度模型对比与任务构成

研究团队于11日在arXiv上提交的论文中,对21个模型进行了全面比较,涵盖11个领域的2,919项任务。评估对象包括两个基于System Two架构的模型以及一个能够自动决定是否需要额外推理过程的模型。

System One类模型不生成冗长的回答,而是基于输入信息和预设选项进行直接判断。其输出结果通常以分数或概率的形式呈现,便于软件程序直接处理。此次评估的任务来源广泛,包括公开数据集、基准测试及40种不同环境。其中,针对固定输入的静态任务有2,300项;涉及网页或工具环境的交互式任务有619项,具体细分为网页交互337项和工具使用282项。

评估领域与能力分类

评估范围涵盖了情感与情绪理解、意图分类与路由、数学、代码理解、科学推理、知识与常识、安全性、搜索与重排序、任务完成验证、工具/API使用以及基于文本的网页交互等11个领域。研究人员将这些任务归纳为五大核心能力群:语义理解、知识与推理、安全与政策合规、证据评估以及智能体任务完成。

能力得分的计算原则是平等对待这11个领域,并主要依据高难度任务进行评分。需要注意的是,由于各领域的难度标准存在差异,仅凭总分无法直接跨领域比较任务的绝对难度。

性能与速度表现分析

在综合性能得分方面,GPT-6 Sol获得82.3分,GPT-6 Luna获得79.7分。作为System One模型中表现最佳的GLiDE得分为70.2分,略低于上述两个System Two基准模型。

在响应速度测试中,开源的System One模型在单张H100 GPU上处理每项任务的时间均在0.3秒以内。研究指出,这一速度比GPT-6 Sol和GPT-6 Luna快数十倍。

可靠性评估机制与结果

为了评估模型的判断稳定性,研究团队设计了特殊的可靠性测试:将同一任务的选项顺序打乱12次,观察模型是否坚持选择原本的答案。这旨在检验当选项排列发生变化时,模型的判断是否会动摇。

此外,研究还引入了“无正确答案”的任务场景,以测试模型能否识别出有效答案不存在的情况。可靠性得分由“对选项顺序变化的稳定性”和“对缺失正确答案的检测能力”两部分结合而成。因此,该得分并不代表总体正确率或服务端的绝对稳定性。

在可靠性排名中,JevAny-27B模型位居第一。然而,该模型在21个参评模型的综合性能排名中仅位列第11,这表明性能排名与可靠性排名并不完全一致。

额外推理的效果与API集成

额外推理(Additional Reasoning)的效果因领域而异。以StartLux Auto为例,在数学任务中,开启额外推理功能时得分为92.5分,关闭时为50.8分。部分控制规模的实验显示,由于小模型和大模型的基础版本不同,难以单独剥离模型大小带来的影响。

本次评估还包含了TypeSafe AI的Jev API 1.14。此前报道曾介绍,Jev是一个返回选项和概率而非完整句子的模型。本研究不仅评估了其在分类和路由方面的表现,还进一步考察了其在网页任务和工具使用任务中的能力。

展开阅读全文
更多新闻