Hugging Face Blog·· 2024-04-30AI 评分54
Hugging Face 与 Dottxt 探索用结构化生成提升提示词一致性
Improving Prompt Consistency with Structured Generations
AI 导读
Hugging Face Leaderboards 团队与 Dottxt 合作研究发现,MMLU 评测对提示词格式高度敏感,各模型分数随 8 种格式波动约 10 个点,Qwen1.5-7B 在不同提示下准确率从 22.9% 到 51.2%,且模型排名也随格式变化。
来源:Hugging Face Blog · huggingface.co