Gemini 1.0 报告用 MMLU 检查跨学科知识,同时列出直接作答和多次推理的结果。即使模型相同,采样策略也会影响成绩。
Gemini 技术报告大模型评测图鉴
OpenAI、Anthropic 和 Google 用哪些题目衡量模型进步?从一道样题,读到评分方法和官方成绩。
沿四份报告看题目怎样变化
Claude 3.5 Sonnet 在 OSWorld 只看截图操作桌面,成功率为 14.9%。允许更多操作步骤后升到 22.0%。
Claude 计算机使用报告GPT-4.1 在 SWE-bench Verified 中提交修复补丁,OpenAI 报告 54.6%。需要查看实际可运行的任务数,才能读懂解决率。
GPT-4.1 发布报告Gemini 4 Neon 模型卡同时列出 AutomationBench 的 56.3% 和 Agents’ Last Exam v1.1 的 75.8%。两套任务分别考查跨应用自动化与长流程专业工作。
Gemini 4 Neon 模型卡评测基准
没有找到符合条件的记录。可以清除筛选,或换一个模型名称。
收录与读数
什么算一次使用
从 2023 年 11 月 20 日到 2026 年 11 月 20 日,以厂商公开资料的日期为准。每条记录都将本厂模型、基准及原文关联起来。报告若注明采用第三方成绩,沿用其归属。其他厂商模型在对照表中出现,不能单独算作该厂商的使用证据。
矩阵里的数字怎么算
在同一厂商、同一自然年内,一个基准无论被多少模型使用,都只计一次。2023 年和 2026 年只覆盖窗口内的部分日期。空白格表示本图鉴尚未收录相应记录。题集明确变更且有单独方法说明的版本可单列,其他子集与工具设置标在成绩旁。同一条记录可含多个测试条件。图鉴选取有公开证据的代表性报告,各年的数字也会受到资料收录密度影响。
如何对照两份成绩
先核对题集版本和子集,再看工具权限、提示示例数、采样次数和推理预算。一次答对的概率、尝试多次至少成功一次的概率、与专家持平或胜出的比例,各自回答不同的问题。年表保留具体模型名和原文链接,可回到报告查看附注。
四个容易看错的标记
5-shot 表示提示中先给五道示范题。pass@1 衡量单次尝试成功的概率。pass@k 衡量 k 次中至少一次成功的概率。客服任务里常见的 pass^k 要求 k 次全部成功,衡量的是稳定性。
题目示例从哪里来
条目中的题目是按任务形式编写的中文教学示例。对于读图、音频、软件环境与多轮任务,示例用文字缩写所需材料和操作目标。每项基准都另附项目、论文或厂商方法说明。部分条目还标出可直接打开的公开原题,例如 HumanEval/0 和 SWE-bench Verified 的 Astropy 修复任务。