fastText 正式登陆 Hugging Face Hub
Meta AI 开源的文本表示与分类库 fastText 现已登陆 Hugging Face Hub,官方镜像了全部 157 种语言的词向量及最新语言识别模型,用户通过 huggingface_hub 几条命令即可下载使用。此次集成还支持文本分类与特征提取 widget,并提供预训练向量加载、最近邻查询和语言检测的用法示例。
Meta AI 开源的文本表示与分类库 fastText 现已登陆 Hugging Face Hub,官方镜像了全部 157 种语言的词向量及最新语言识别模型,用户通过 huggingface_hub 几条命令即可下载使用。此次集成还支持文本分类与特征提取 widget,并提供预训练向量加载、最近邻查询和语言检测的用法示例。
Hugging Face 发布 StackLLaMA 模型及完整 RLHF 训练教程,演示如何将 LLaMA 7B 微调用于回答 Stack Exchange 问答。
推荐理由:Hugging Face 官方复盘 StackLLaMA 全流程训练细节,包括显存估算、LoRA 配置和 RLHF 训练中的稳定性坑,方法可直接迁移复用。
Hugging Face 官方详解 Accelerate 如何在普通硬件上加载并运行超大模型,示例可在免费 Colab 上运行 OPT-6.7B。
推荐理由:官方详解 Accelerate 借助 PyTorch meta device、分片加载与 hooks 实现超大模型推理的完整原理,方法可直接复用。
Hugging Face 博客讲解如何利用 Wav2Vec2 的 CTC 架构特性,对任意长的音频文件乃至实时流做高质量语音识别。
推荐理由:原文解释如何利用 CTC 架构加重叠分块让 Wav2Vec2 处理任意长音频和实时推理,方法可直接用 pipeline 复现。
🤗 Transformers 新增与 Kensho 的 pyctcdecode 库的集成,可将 n-gram 语言模型与微调后的 Wav2Vec2 语音识别检查点结合解码。
这篇 Hugging Face 教程讲解如何用 CTC 微调 Wav2Vec2-XLS-R-300M 做低资源 ASR。XLS-R 于 2021 年 11 月发布,用约 50 万小时、128 种语言的音频做自监督预训练,提供 300M 至 2B 参数的 checkpoint。教程以仅约 4 小时验证数据的 Common Voice 土耳其语数据集为示例,并用词错误率(WER)评估微调后的模型。
Hugging Face 与 Facebook PyTorch、Google TPU 团队合作,为 PyTorch / XLA 在 Cloud TPU 上的训练提供一等支持,Trainer 接口保持不变。
Stas Bekman 在 Hugging Face 撰文记录了将 Facebook FAIR 的 WMT19 翻译系统移植到 transformers 的完整过程。