如何用 🤗 Evaluate 评估语言模型偏见

Hugging Face 在 🤗 Evaluate 库中新增偏见评估指标，用于探究 GPT-2、BLOOM 等因果语言模型（CLM）编码的社会偏见。工作流分两步：用 🤗 Datasets 上的预定义提示词驱动模型生成，再用 Evaluate 的指标评估，涵盖毒性、语言极性、伤害性三类任务。示例中仅改变代词 he/she，GPT-2 补全的女性代词毒性比例为 0.333，男性为 0.0。