Simon Willison·· 20 小时前AI 评分40
Qwen3.8 27B 用英文单词做加法的测试
Qwen3.8 27B addition in words
AI 导读
一项基准测试考察 Qwen3.8-27B-Q4_K_M.gguf 在推理关闭时能否用英文单词表达整数加法结果。在 5,070 个样本中数字准确率仅 23.57%,一位到三位数可达 97.04%,十位到十三位数降至 6.44%,格式合规率 96.17%。开启推理后 169 对测试答对 167 次,实验受 GPT-4o 早期同类实验启发,在 DGX Spark 本地硬件上完成。
来源:Simon Willison · simonwillison.net