AI 语音与音频的进展：语音合成、实时对话、音乐生成与音频理解的模型与产品。
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型，支持用自然语言提示词在 100 多种语言和方言中定制角色声音，可从 30 秒音频样本复刻声音，并提供 2000 多个现成声音。
推荐理由：官方介绍了两款 TTS 模型的定制能力、基准成绩和开放渠道，开发者可以据此评估语音生成方案的选型。
Google DeepMind 于 2026 年 9 月 15 日发布 Gemini 3.8 Live 和 3.8 Live Extended Thinking 两款语音对话模型。
推荐理由：官方公布了两个语音模型的能力定位、多项基准成绩和可用入口，读者可以据此评估是否接入自己的语音应用。
Google DeepMind 推出 Gemini 3.5 Transcribe，定位为更精确的智能语音转写模型，能清除填充词、自动排版、支持自定义词表和 85 种以上语言。
推荐理由：官方发布文给出模型的能力细节、两项 API 入口和与 Chirp 3 的 WER 与延迟对比，开发者可据此评估语音转写方案选型。
Hugging Face 发布新研究，用三项探针测试量化 ASR 模型的基准优化（benchmaxxing）现象。评估 11 个开源模型发现，多个高分模型会复现 VoxPopuli 和 LibriSpeech 的错误参考转录，甚至在相关词被静音时恢复被删除的数字，或按基准期望切换拼写变体；部分模型还能借助声学线索识别测试集。
推荐理由：研究用三种探针量化了 ASR 模型对公开基准的过拟合，并给出选用模型与设计基准的具体建议。
Google DeepMind 发布音频模型 Gemini 3.5 Live Translate，提供 70+ 语言的近实时语音到语音翻译，自动检测语言并保留说话者的语调、节奏和音高，全程仅落后说话者数秒。
推荐理由：官方发布正文给出了 70+ 语言、延迟表现和多端开放入口，读者可据此评估它在通话、会议和翻译场景的可用性。
NVIDIA 发布 Nemotron 3 Nano Omni（30B-A3B）全模态理解模型，支持文档分析、ASR、长音视频理解和 agentic computer use，并在 Hugging Face 开放 BF16、FP8 和 NVFP4 权重。
推荐理由：原文给出完整基准对比和架构细节，读者可以据此评估它是否值得替换现有的多模态工作流。
Google DeepMind 推出文本转语音模型 Gemini 3.1 Flash TTS，在 Artificial Analysis TTS 排行榜获得 Elo 1,211 分，支持原生多说话人对话和 70+ 种语言。
推荐理由：官方发布新 TTS 模型，给出 Elo 分数、多说话人和音频标签等具体能力与开放入口，便于评估语音应用场景。
Google DeepMind 发布实时语音模型 Gemini 3.1 Flash Live，称其为迄今最高质量的音频模型，延迟更低、对话更自然。在 ComplexFuncBench Audio 上得分 90.8%，在开启 thinking 的 Scale AI Audio MultiChallenge 上得分 36.1%，均领先前代模型。
推荐理由：官方给出两项音频基准分数和多产品开放入口，读者可以据此评估它对语音智能体开发的实际改进。
Mistral AI 发布首款文生语音模型 Voxtral TTS，4B 参数，支持 9 种语言，仅需约 3 秒参考音频即可适配自定义音色，并支持零样本跨语言音色迁移。
推荐理由：原文给出 9 语言、3 秒参考音色、70ms 延迟等可核验细节与人类评测对比，读者可据此评估其语音智能体方案。
Google DeepMind 在 Gemini 应用中以 beta 形式上线最新音乐生成模型 Lyria 3，用户输入文字或上传照片即可生成 30 秒带歌词曲目。
推荐理由：官方介绍了 Lyria 3 的三项能力改进和 SynthID 音频验证入口，读者可据此了解 Gemini 音乐生成与识别 AI 内容的新玩法。
Mistral 发布 Voxtral Transcribe 2 系列，包含批处理转写模型 Voxtral Mini Transcribe V2 和实时模型 Voxtral Realtime。
推荐理由：官方发布了两个语音转写模型的具体性能、价格和开放权重信息，读者可以据此对比现有转写方案的成本与延迟。
Google DeepMind 发布面向实时语音 Agent 的更新版 Gemini 2.5 Flash Native Audio，提升函数调用、指令遵循与多轮对话能力，在 ComplexFuncBench Audio 上得分 71.5%，开发者指令遵循率从 84% 升至 90%。
推荐理由：官方给出了函数调用、指令遵循的具体提升数据和落地入口，读者可以据此评估现有语音 Agent 是否值得升级。
Google 描述一个端到端语音到语音翻译（S2ST）模型，将传统级联方案 4–5 秒的延迟降至 2 秒，并以原说话人音色直接输出翻译音频。
推荐理由：原文给出了模型架构、延迟数据与部署位置，读者可以了解端到端语音翻译与级联方案的差异及落地方式。
Mistral 发布语音理解模型 Voxtral，提供 24B 和 3B 两个版本，均以 Apache 2.0 许可开源，可通过 Hugging Face 下载或 API 调用。
推荐理由：官方发布了模型规格、基准对比和价格，读者可以据此评估它在语音理解和成本上相对现有方案的定位。
Hugging Face 发布 FastRTC，一个面向 Python 的实时通信库，用于简化实时音视频 AI 应用开发。库内自动处理语音检测与轮次切换，自带 WebRTC Gradio UI，支持 WebRTC 和 WebSocket，可将 Stream 挂载到任意 FastAPI 应用。
推荐理由：官方发布 Python 实时通信库，内置语音检测、Gradio UI 和免费电话接入，作者还演示了接入 LLM 的完整语音对话代码。