跳到正文
原文
Hugging Face Blog·· 2024-04-30AI 评分54

Hugging Face 与 Dottxt 探索用结构化生成提升提示词一致性

Improving Prompt Consistency with Structured Generations

AI 导读

Hugging Face Leaderboards 团队与 Dottxt 合作研究发现,MMLU 评测对提示词格式高度敏感,各模型分数随 8 种格式波动约 10 个点,Qwen1.5-7B 在不同提示下准确率从 22.9% 到 51.2%,且模型排名也随格式变化。

来源:Hugging Face Blog · huggingface.co