Hugging Face 将 Llama3 8B 微调至 1.58 比特，MMLU 超过 Llama 1 7B

Hugging Face 发布把 Llama3 8B 微调到 BitNet 1.58 比特（三元权重 -1/0/1）的方法，模型在 HF1BitLLM 组织开源，其中两个在 10B tokens 上训练、一个在 100B tokens 上训练，MMLU 成绩超过 Llama 1 7B。