跳到正文
评测来源

SimpleQA Verified

Epoch AI / 知识 · 短问题的事实准确性

官方评测
在 MyHOT 中参与排名
证据预算4%
上游数据时间09/30 06:00
最近成功同步10/02 02:05

它测什么,怎么测

只取 Epoch 自行复跑的 mean_score,采用固定推理档位;不读取 ECI 或 Best score 聚合列。

如何使用这份证据

正式计分;同题家族共用固定预算。

评测成绩

按固定规则,每个公开模型采用一套代表配置;没有可采用配置的模型标为未计入并写明原因。匿名测试型号不展示,保留原榜名次,每项最多 30 个。

原榜名次原榜型号原始成绩代表配置
1gpt-6-astra_maxOpenAI75.6%Max 推理
2gpt-6.1-sol_maxopenai73.9%Max 推理
3gemini-3.1-pro-preview_highGoogle73.5%High 推理
4claude-opus-5-5_maxAnthropic72.2%Max 推理
5claude-fable-5-1_maxAnthropic70.8%Max 推理
6claude-fable-5_xhighAnthropic70.7%xHigh 推理
7gpt-5.6-sol_maxOpenAI69.7%Max 推理
7gemini-3.8-flash_highGoogle69.7%High 推理
9gemini-3.7-flash_highGoogle69.2%High 推理
10gemini-3-flash-preview_highGoogle66.8%High 推理
11gemini-3.5-flash_highGoogle66.2%High 推理
11gemini-3.6-flash_highGoogle66.2%High 推理
13gpt-5.5_xhighOpenAI63.0%xHigh 推理
14gpt-6-sol_maxOpenAI60.7%Max 推理
15muse-spark-1.2_xhighMeta60.3%xHigh 推理
16claude-opus-5_maxAnthropic59.9%Max 推理
17muse-spark-1.1Meta57.8%来源默认配置
18qwen3.7-maxAlibaba55.8%来源默认配置
19claude-opus-4-8_maxAnthropic53.0%Max 推理
20deepseek-v4-pro-0813_maxDeepSeek52.9%Max 推理
21qwen3.6-max-previewAlibaba52.0%来源默认配置
22claude-opus-4-7_xhighAnthropic51.7%xHigh 推理
23kimi-k3_maxMoonshot AI50.6%Max 推理
24gpt-5-2025-08-07_highOpenAI50.1%High 推理
25o3-2025-04-16_highOpenAI49.4%High 推理
27grok-4.6_xhighxAI48.9%xHigh 推理
28qwen3-max-2025-09-23Alibaba48.7%来源默认配置
29grok-4.5_highxAI48.3%High 推理
30gpt-5.1-2025-11-13_highOpenAI48.0%High 推理
31qwen3.8-max-0902_xhighAlibaba47.3%xHigh 推理
评测局限与数据署名

正式计分;同题家族共用固定预算。

数据许可:CC BY 4.0 · Epoch AI 自行评测数据

成绩由 Epoch AI 发布,原始分数与 MyHOT 共识分使用不同尺度,不能直接相加。