跳到正文
原文
Hugging Face Blog·· 2024-04-23AI 评分38

Hugging Face 推出 Open CoT Leaderboard 链式推理排行榜

Introducing the Open Chain of Thought Leaderboard

AI 导读

Hugging Face 推出 Open CoT Leaderboard,追踪 LLM 生成有效链式推理的能力。榜单不评绝对准确率,而是计算有无 CoT 提示的准确率差值 Δ,以检验 CoT 对准确率的实际影响,并对训练数据污染更稳健。评测采用 LogiQA 和 LSAT 数据集(多数属于 AGIEval),任务以选择题形式呈现,目前已实现 Classic 和 Reflect 两种提示策略。

来源:Hugging Face Blog · huggingface.co