Whisper 用 Speculative Decoding 实现 2 倍推理加速且输出完全一致
Hugging Face 博客演示如何用 speculative decoding 将 Whisper 语音转录推理时间降低约 2 倍，同时从数学上保证输出与原模型完全一致。
推荐理由：原文给出了完整的 speculative decoding 原理和实测代码，读者可以直接把它作为 Whisper 推理加速的替换方案。
语音与音频
全部主题AI 语音与音频的进展：语音合成、实时对话、音乐生成与音频理解的模型与产品。
最新精选
第 21–24 条 · 共 24 条Hugging Face Blog精选AI 评分6666
Hugging Face Blog精选AI 评分6666 Hugging Face 发布使用 🤗 Transformers 微调 Whisper 的多语言 ASR 实战教程
Hugging Face 发布分步教程，讲解如何用 🤗 Transformers、Datasets 和 Hub 对 Whisper 做多语言 ASR 微调，涵盖模型原理、Common Voice 数据准备、WhisperProcessor、Seq2SeqTrainer 训练与 WER 评估。
推荐理由：教程展示了仅用 8 小时 Common Voice 印地语数据微调 Whisper small，把 WER 从 63.5% 降到 32.0%，方法可迁移到其他低资源语言。
OpenAI News精选AI 评分8484 OpenAI 开源语音识别模型 Whisper
OpenAI 宣布训练并开源名为 Whisper 的神经网络，该模型在英文语音识别上的鲁棒性和准确率接近人类水平。
推荐理由：OpenAI 官方宣布开源 Whisper，读者可以据此了解其在英文语音识别上的准确性与鲁棒性水平。
Hugging Face Blog精选AI 评分6262 如何用 Wav2Vec2 在 Transformers 中对长音频文件做语音识别
Hugging Face 博客讲解如何利用 Wav2Vec2 的 CTC 架构特性，对任意长的音频文件乃至实时流做高质量语音识别。
推荐理由：原文解释如何利用 CTC 架构加重叠分块让 Wav2Vec2 处理任意长音频和实时推理，方法可直接用 pipeline 复现。