Mistral Le Chat 上线 Deep Research、语音模式、Projects 等多项新功能
Mistral 为 Le Chat 推出一批新功能，包括预览版 Deep Research 研究报告模式、基于 Voxtral 模型的语音模式、由 Magistral 驱动的多语言推理 Think 模式、按上下文组织对话的 Projects，以及与 Black Forest Labs 合作的高级图像编辑。新功能已在 chat.mistral.ai 和移动应用开放使用，无需信用卡。
#语音
#语音
今日 1 条Mistral AIAI 评分5959
Mistral AI精选AI 评分6969 Mistral 发布语音理解模型 Voxtral，含 24B 和 3B 两个版本并以 Apache 2.0 开源
Mistral 发布语音理解模型 Voxtral，提供 24B 和 3B 两个版本，均以 Apache 2.0 许可开源，可通过 Hugging Face 下载或 API 调用。
推荐理由：官方发布了模型规格、基准对比和价格，读者可以据此评估它在语音理解和成本上相对现有方案的定位。
OpenAI NewsAI 评分2828 Genspark 如何用 GPT-4.1 和 Realtime API 打造无代码个人智能体
Genspark 基于 GPT-4.1 和 OpenAI Realtime API 构建了无代码个人智能体产品，在 45 天内实现 3600 万美元 ARR。
OpenAI NewsAI 评分2525 OpenAI：基于 GPT-4o 的 Retell AI 无代码语音智能体自动化
Retell AI 基于 GPT-4o 和 GPT-4.1 打造无代码语音自动化平台，帮助企业上线实时自然的语音智能体，自动化客户通话。该方案可降低通话成本、提升 CSAT，且无需脚本和等待时间。
Hugging Face BlogAI 评分5252 Hugging Face Inference Endpoints 推出基于 vLLM 的 Whisper 高速部署，RTFx 提升近 8x
Hugging Face 在 Inference Endpoints 上推出新的 OpenAI Whisper 部署选项，推理由 vLLM 驱动，Whisper Large V3 的 RTFx 较此前提升近 8x 且转写质量无损失。
Hugging Face BlogAI 评分5656 Hugging Face 与 Cloudflare 合作，为 FastRTC 提供全球 TURN 网络
Cloudflare 与 Hugging Face 达成合作，FastRTC 开发者只需 Hugging Face token 即可使用企业级 WebRTC 基础设施。持有有效 token 的开发者每月可免费传输 10GB 数据，无需信用卡；集成从 FastRTC 0.0.20 起可用，Cloudflare 的 TURN 服务器网络覆盖全球 335 个以上地点。
OpenAI NewsAI 评分5959 OpenAI 在 API 中推出新一代音频模型
OpenAI 宣布在 API 中推出新一代音频模型。开发者首次可以通过指令控制文本转语音模型的说话方式，例如让模型像有同理心的客服人员那样讲话，为语音智能体带来更高程度的定制能力。
Hugging Face BlogAI 评分4343 Hugging Face 与 IISc 合作，在 Hugging Face 上开放印度多语言数据集 Vaani
印度科学理工学院（IISc）与 ARTPARK 和 Hugging Face 合作，将开源多模态多语言数据集 Vaani 开放给全球开发者。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Python 实时通信库 FastRTC
Hugging Face 发布 FastRTC，一个面向 Python 的实时通信库，用于简化实时音视频 AI 应用开发。库内自动处理语音检测与轮次切换，自带 WebRTC Gradio UI，支持 WebRTC 和 WebSocket，可将 Stream 挂载到任意 FastAPI 应用。
推荐理由：官方发布 Python 实时通信库，内置语音检测、Gradio UI 和免费电话接入，作者还演示了接入 LLM 的完整语音对话代码。
Hugging Face BlogAI 评分5151 Artificial Analysis 发布 Big Bench Audio 评测集，实测 GPT-4o 与 Gemini 1.5 系列的音频推理能力
Artificial Analysis 发布音频语言模型推理评测集 Big Bench Audio，从 Big Bench Hard 四个类别各选 250 题生成 1000 道音频题，并给出 GPT-4o 与 Gemini 1.5 系列在语音到语音、语音到文本、文本到语音、文本到文本四种配置下的 18 组实验结果。
Hugging Face BlogAI 评分4040 如何在 Hugging Face 上部署 Speech-to-Speech
Hugging Face 的 Speech-to-Speech（S2S）项目通过 VAD、STT、语言模型和 TTS 组成的级联 pipeline 实现语音对话，支持英、法、西、中、日、韩六种语言及自动语言检测。
OpenAI News精选AI 评分6767 OpenAI 发布 Realtime API，支持语音到语音应用开发
OpenAI 发布 Realtime API，开发者可以在自己的应用中构建快速的语音到语音体验。
推荐理由：OpenAI 官方推出 Realtime API，开发者可直接在应用中构建低延迟的语音到语音体验。
Hugging Face BlogAI 评分4646 Whisper + 说话人分离 + 投机解码：在 Hugging Face Inference Endpoints 上部署强大 ASR
Hugging Face 展示如何用自定义 inference handler 在 Inference Endpoints 上部署 Whisper ASR，并结合 Pyannote diarization pipeline 实现说话人分离，以及通过投机解码加速推理。
Hugging Face BlogAI 评分5252 Hugging Face 教程：用 Transformers 微调 Wav2Vec2-BERT 做低资源语音识别
Hugging Face 发布教程，演示如何用 facebook/w2v-bert-2.0 checkpoint 和 CTC 在 Common Voice 16.0 约 14 小时的蒙古语数据上微调 Wav2Vec2-BERT。
Hugging Face Blog精选AI 评分6666 Whisper 用 Speculative Decoding 实现 2 倍推理加速且输出完全一致
Hugging Face 博客演示如何用 speculative decoding 将 Whisper 语音转录推理时间降低约 2 倍，同时从数学上保证输出与原模型完全一致。
推荐理由：原文给出了完整的 speculative decoding 原理和实测代码，读者可以直接把它作为 Whisper 推理加速的替换方案。
Hugging Face BlogAI 评分5656 Hugging Face 教程：用 Transformers 优化 Bark 语音合成模型
Hugging Face 博客发布 Bark 文本转语音模型的推理优化教程，基于 Transformers、Optimum 和 Accelerate 三种技术：BetterTransformer 提速 20% 到 30%，fp16 减少一半显存，CPU offload 让 bark-large 显存从 5GB 降到 2GB。
Hugging Face BlogAI 评分4141 Hugging Face 发布教程：为低资源 ASR 微调 MMS Adapter 模型
Meta AI 的 MMS 支持 1100 多种语言的语音识别、语言识别与语音合成，其无监督 checkpoint 在 1400 多种语言、超 50 万小时音频上预训练，参数规模为 300M 和 1B。
Hugging Face BlogAI 评分4747 如何在 Unity 中用 Hugging Face Unity API 实现语音识别
这篇教程讲解如何用 Hugging Face Unity API 在 Unity 游戏中实现语音识别，可将语音转文本用于指令输入、NPC 对话或无障碍功能。步骤包括搭建含开始/停止按钮的 UI 场景、用 Microphone.Start() 录制最长 10 秒、44100 Hz 的音频，并将录音编码为 WAV 格式供 API 调用，最终把识别结果显示在 TextMeshPro 文本中。
Hugging Face BlogAI 评分5555 SpeechT5 语音模型正式进入 Hugging Face Transformers，支持 TTS、ASR 和语音转换
Hugging Face 宣布微软亚洲研究院的 SpeechT5 已在 🤗 Transformers 中可用，官方 checkpoint 发布在 Hub 上。
Hugging Face BlogAI 评分5858 Hugging Face 发布音频数据集完整使用指南：一行代码加载与 streaming 模式
Hugging Face 发布音频数据集完整指南，演示用 🤗 Datasets 库一行 Python 代码加载和预处理音频数据集。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布使用 🤗 Transformers 微调 Whisper 的多语言 ASR 实战教程
Hugging Face 发布分步教程，讲解如何用 🤗 Transformers、Datasets 和 Hub 对 Whisper 做多语言 ASR 微调，涵盖模型原理、Common Voice 数据准备、WhisperProcessor、Seq2SeqTrainer 训练与 WER 评估。
推荐理由：教程展示了仅用 8 小时 Common Voice 印地语数据微调 Whisper small，把 WER 从 63.5% 降到 32.0%，方法可迁移到其他低资源语言。
OpenAI News精选AI 评分8484 OpenAI 开源语音识别模型 Whisper
OpenAI 宣布训练并开源名为 Whisper 的神经网络，该模型在英文语音识别上的鲁棒性和准确率接近人类水平。
推荐理由：OpenAI 官方宣布开源 Whisper，读者可以据此了解其在英文语音识别上的准确性与鲁棒性水平。
Hugging Face Blog精选AI 评分6262 如何用 Wav2Vec2 在 Transformers 中对长音频文件做语音识别
Hugging Face 博客讲解如何利用 Wav2Vec2 的 CTC 架构特性，对任意长的音频文件乃至实时流做高质量语音识别。
推荐理由：原文解释如何利用 CTC 架构加重叠分块让 Wav2Vec2 处理任意长音频和实时推理，方法可直接用 pipeline 复现。
Hugging Face BlogAI 评分4848 如何在 🤗 Transformers 中用 n-gram 语言模型增强 Wav2Vec2
🤗 Transformers 新增与 Kensho 的 pyctcdecode 库的集成，可将 n-gram 语言模型与微调后的 Wav2Vec2 语音识别检查点结合解码。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 微调 XLS-R（Wav2Vec2）实现低资源语音识别
这篇 Hugging Face 教程讲解如何用 CTC 微调 Wav2Vec2-XLS-R-300M 做低资源 ASR。XLS-R 于 2021 年 11 月发布，用约 50 万小时、128 种语言的音频做自监督预训练，提供 300M 至 2B 参数的 checkpoint。教程以仅约 4 小时验证数据的 Common Voice 土耳其语数据集为示例，并用词错误率（WER）评估微调后的模型。
Hugging Face BlogAI 评分4141 如何用 🤗 Transformers 微调 Wav2Vec2 做英语语音识别
这篇 Hugging Face 教程讲解如何在任何英语 ASR 数据集上微调 Wav2Vec2 预训练模型。Wav2Vec2 仅用 10 分钟标注数据即可在 LibriSpeech 干净测试集上取得低于 5% 的 WER；教程在仅 5h 训练数据的 Timit 数据集上微调 base 版 checkpoint，采用 CTC 算法、不依赖语言模型，并用 WER 指标评估。