Hugging Face 与 Cerebras 将 Gemma 4 引入实时语音 AI
Hugging Face 与 Cerebras 联合演示了一套实时语音到语音流水线，用 Cerebras 加速 Gemma 4 31B 的推理。该架构为开放可替换的级联栈：Nvidia Parakeet 做语音识别，Gemma 4 VLM 在 Cerebras 上推理，阿里 Qwen3TTS 做文本转语音。
推荐理由：原文给出了可复用的开源语音到语音流水线架构，读者可据此了解各模块如何组合与替换。
#语音
#语音
今日 1 条Hugging Face Blog精选AI 评分6262
Hugging Face BlogAI 评分4242 Hugging Face 与 Treble Technologies 推出 FFASR 远场 ASR 排行榜
Hugging Face 与 Treble Technologies 发布首个开放、社区驱动的远场 ASR 评测榜 FFASR，覆盖 14 个模拟房间，并设有 Lab Measured 与 Lab Simulated 两列做 sim-to-real 验证。
Google DeepMind精选AI 评分8282 Google DeepMind 发布 Gemini 3.5 Live Translate 实时语音翻译模型
Google DeepMind 发布 Gemini 3.5 Live Translate，这是一款支持 70 多种语言的近实时语音到语音翻译音频模型，可自动检测语种并保留说话人的语调、节奏和音高。
推荐理由：官方披露了连续生成语音的取舍机制与 70+ 语种覆盖，可据此判断实时翻译的可用边界。
Hugging Face BlogAI 评分5050 Reachy Mini 实现完全本地运行：Hugging Face 发布本地语音对话方案
Hugging Face 为 Reachy Mini 推出完全本地化的语音对话方案，基于其 speech-to-speech 级联管线（VAD → STT → LLM → TTS），无需云端和 API key。
OpenAI NewsAI 评分2222 Parloa 基于 OpenAI 模型构建语音 AI 客服智能体
Parloa 利用 OpenAI 模型打造可扩展的语音驱动 AI 客服智能体，让企业能够设计、模拟并部署可靠的实时交互。
OpenAI News精选AI 评分6262 OpenAI 在 API 中推出新的实时语音模型
OpenAI 在 API 中推出新的实时语音模型，可进行推理、翻译和语音转写，用于构建更自然、更智能的语音体验。
推荐理由：OpenAI 在 API 中上线新的实时语音模型，读者可了解其在推理、翻译与转写上的能力方向。
Hugging Face BlogAI 评分3434 Hugging Face 为 Open ASR Leaderboard 引入私有数据集以抵御 benchmaxxing
Hugging Face 联合 Appen Inc. 和 DataoceanAI 为 Open ASR Leaderboard 引入高质量私有英文 ASR 数据集，覆盖多口音的朗读与对话语音，以防止 benchmaxxing 和测试集污染。榜单默认平均 WER 仍仅基于公开数据集计算，用户可通过开关选择是否纳入私有数据集。该榜单自 2023 年 9 月上线以来访问量已超 710K 次。
OpenAI NewsAI 评分2222 Uber 用 OpenAI 打造 AI 助手与语音功能，帮司机赚得更聪明、乘客下单更快
Uber 正用 OpenAI 驱动 AI 助手和语音功能，帮助司机更聪明地赚钱、乘客更快下单，覆盖其全球实时交易市场。
OpenAI NewsAI 评分3030 OpenAI 如何大规模实现低延迟语音 AI
OpenAI 重建了其 WebRTC 技术栈，以支撑实时语音 AI 的低延迟、全球规模与流畅的对话轮次切换。
Google DeepMind精选AI 评分6262 Google DeepMind 发布 AI co-clinician 医疗研究计划
Google DeepMind 宣布 AI co-clinician 研究计划，探索 AI 智能体在医生临床监督下协助患者诊疗的“三方照护”模式。在 98 个真实初级保健查询的盲评中，该系统 97 例无关键错误，优于医生常用的两款 AI 系统；在 140 项问诊技能评估中，AI 有 68 项达到或超过初级保健医生水平，但专家医生在识别危险信号和指导关键体格检查上整体仍更优。
推荐理由：DeepMind 公开 AI co-clinician 研究计划，给出医生端证据综合与患者端实时多模态问诊的对照评测结果。
Hugging Face Blog精选AI 评分7171 NVIDIA 发布 Nemotron 3 Nano Omni：面向文档、音频与视频智能体的长上下文全模态模型
NVIDIA 发布 Nemotron 3 Nano Omni，一款覆盖文本、图像、视频与音频的全模态理解模型，基于 Nemotron 3 Nano 30B-A3B 骨干，搭配 C-RADIOv4-H 视觉编码器和 Parakeet-TDT-0.6B-v2 音频编码器。
推荐理由：NVIDIA 开源的全模态模型，给出架构、训练配方与多榜单对比，可据此判断长文档与音视频智能体的选型空间。
Google DeepMind精选AI 评分7171 Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型
Google DeepMind 发布 Gemini 3.1 Flash TTS，一款主打可控性、表现力和音质的文本转语音模型，已在 Gemini API 和 Google AI Studio 面向开发者预览，企业版在 Vertex AI 预览，Workspace 用户可通过 Google Vids 使用。
推荐理由：官方给出 Elo 1211、70+ 语言与 audio tags 等具体指标，可据此判断语音生成的可控性进展。
Google DeepMind精选AI 评分7676 Google DeepMind 发布 Gemini 3.1 Flash Live 语音模型
Google DeepMind 发布 Gemini 3.1 Flash Live，称其为目前质量最高的音频与语音模型，具备更高精度和更低延迟。该模型在 ComplexFuncBench Audio 上以 90.8% 领先上一代，在 Scale AI 的 Audio MultiChallenge 上开启 thinking 后得分为 36.1%。
推荐理由：官方给出语音模型的基准成绩与多产品接入路径，可据此判断实时语音智能体的可用性变化。
Hugging Face BlogAI 评分5151 ServiceNow 发布语音智能体端到端评测框架 EVA
ServiceNow 在 Hugging Face 发布 EVA，一个面向对话式语音智能体的端到端评测框架，同时给出 EVA-A（准确率）和 EVA-X（体验）两个分数，并称是首个联合评估任务成功与对话体验的框架。
Mistral AI精选AI 评分7171 Mistral AI 发布 Voxtral TTS 语音合成模型
Mistral AI 发布首个文本转语音模型 Voxtral TTS，4B 参数，支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语 9 种语言，具备情感表达与零样本跨语言音色适配能力。
推荐理由：原文给出 4B 参数、9 种语言与 70ms 延迟等具体指标，读者可据此判断语音智能体的成本与可用性。
Google Research精选AI 评分6262 Google Research 发布 WAXAL：覆盖 27 种非洲语言的开放语音数据集
Google Research 发布 WAXAL，一个面向撒哈拉以南非洲 27 种语言的大规模开放语音数据集，采用 CC-BY-4.0 许可。其中 WAXAL-ASR 包含约 1,846 小时转写自然语音，WAXAL-TTS 包含超过 565 小时高保真录音，数据采集由非洲高校与社区组织主导，覆盖 100 多万使用者。该数据集旨在支持低资源语言的语音识别与合成系统开发，并计划持续扩充语言种类。
推荐理由：Google Research 联合非洲高校发布 27 种语言的开放语音数据集，读者可了解低资源语言语音数据的采集方法与规模。
Mistral AI精选AI 评分7878 Mistral 发布 Voxtral Transcribe 2 语音转写模型家族
Mistral 发布 Voxtral Transcribe 2，包含面向批量转写的 Voxtral Mini Transcribe V2 和面向实时场景的 Voxtral Realtime 两款语音转文字模型。
推荐理由：官方给出两款语音转写模型的延迟、错误率与定价对比，可据此判断实时语音应用的落地成本。
Google Research精选AI 评分6262 Google 发布 MedGemma 1.5 4B 与医疗语音模型 MedASR
Google 发布 MedGemma 1.5 4B，新增对 CT、MRI 和全切片病理等高维医学影像的支持，并保留 2D 图像与文本能力。官方称在内部基准上，CT 病灶分类准确率从 58% 提升到 61%，MRI 从 51% 提升到 65%，MedQA 从 64% 提升到 69%。
推荐理由：官方给出 MedGemma 1.5 与 MedASR 的基准对比和开源入口，可据此判断医疗多模态模型的可用边界。
OpenAI NewsAI 评分2222 Tolan 如何用 GPT-5.1 打造语音优先 AI
Tolan 基于 GPT-5.1 打造了一款语音优先的 AI 伴侣，结合低延迟响应、实时上下文重建和记忆驱动的人格，实现自然对话。
Google DeepMind精选AI 评分7878 Google DeepMind 发布升级版 Gemini 2.5 Flash Native Audio
Google DeepMind 发布升级版 Gemini 2.5 Flash Native Audio，面向实时语音智能体，在复杂工作流处理、指令遵循和多轮对话上做了改进。
推荐理由：官方给出函数调用、指令遵循与多轮对话三项能力的具体提升数据，可据此判断语音智能体的可用边界。
Google ResearchAI 评分3636 Google 发布 MSEB：面向听觉智能的大规模声音嵌入基准
Google Research 在 NeurIPS 2025 发布 Massive Sound Embedding Benchmark（MSEB），用于标准化评测声音嵌入模型的八项听觉能力，涵盖检索、推理、分类、转录、分割、聚类、重排与重建。
Hugging Face BlogAI 评分3434 Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道，并发布 60+ 模型趋势预印本
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转录赛道，并发布覆盖 60+ 模型、18 家机构、11 个数据集的 ASR 趋势预印本。Conformer 编码器加 LLM 解码器在英语转录准确率上领先，CTC/TDT 解码器吞吐量快 10–100 倍；多语言仍以 Whisper Large v3 为强基线，长音频则闭源系统暂时领先。
Google Research精选AI 评分7676 Google 发布端到端实时语音翻译模型，延迟降至 2 秒
Google Research 发布端到端语音到语音翻译（S2ST）模型，直接生成译文音频并保留原说话人音色，延迟从级联方案的 4–5 秒降至 2 秒。该模型基于 AudioLM 框架和 Transformer 模块，采用流式编码器与解码器，并用时间同步数据管线训练，音频以 RVQ token 表示，100 ms 片段约需 16 个 token。
推荐理由：Google 端到端语音翻译把延迟从 4–5 秒压到 2 秒，并已落地 Meet 与 Pixel 10，可据此判断实时同传的可用边界。
Hugging Face BlogAI 评分3838 Hugging Face 提出“语音同意门”：让声音克隆必须先获得本人同意
Hugging Face 发布博客提出“语音同意门”（voice consent gate），让模型只有在说话人明确说出同意语句并被 ASR 识别后才启动声音克隆。
OpenAI NewsAI 评分2222 SchoolAI 用 GPT-4.1 打造赋能教师的 AI 平台
SchoolAI 基于 GPT-4.1、图像生成和 TTS 构建安全、教师引导的 AI 工具，已服务超 100 万个课堂，提升参与度、监督能力和个性化学习。
OpenAI News精选AI 评分7272 OpenAI 发布 gpt-realtime 并更新 Realtime API
OpenAI 发布更先进的语音到语音模型 gpt-realtime，并更新 Realtime API。新 API 能力包括 MCP server 支持、图像输入和 SIP 电话呼叫支持。
推荐理由：OpenAI 发布新一代语音到语音模型并扩展 Realtime API，读者可了解语音智能体接入电话与工具的新入口。
Mistral AI精选AI 评分6666 Mistral 为 Le Chat 推出 Deep Research、语音模式等多项新功能
Mistral 为 Le Chat 上线一批新功能，包括预览版 Deep Research 模式、由新语音模型 Voxtral 驱动的语音模式、由推理模型 Magistral 支持的多语言推理、用于整理对话的 Projects，以及与 Black Forest Labs 合作的高级图像编辑。
推荐理由：官方一次性公布 Le Chat 的深度研究、语音、推理与图像编辑多项能力，可据此判断其产品路线与可用入口。
Mistral AI精选AI 评分8080 Mistral 发布 Voxtral 语音理解模型，24B 与 3B 双版本开源
Mistral 发布 Voxtral 语音理解模型，提供 24B 和 3B 两种尺寸，均以 Apache 2.0 许可开源并上线 API。模型支持 32k token 上下文，可处理最长 30 分钟音频转写或 40 分钟音频理解，具备内置问答与摘要、多语言自动检测和语音触发函数调用能力。
推荐理由：Mistral 开源语音理解模型，给出两种尺寸、Apache 2.0 许可与 API 定价，读者可据此判断语音能力的开放程度与成本。
OpenAI NewsAI 评分2222 Retell AI 用 GPT-4o 实现可定制无代码语音智能体自动化
Retell AI 基于 GPT-4o 和 GPT-4.1 打造无代码语音自动化平台，帮助企业上线自然、实时的语音智能体，无需脚本或等待即可自动处理客户对话。该平台可降低通话成本、提升 CSAT，正被用于改造呼叫中心。
Hugging Face BlogAI 评分4242 Hugging Face Inference Endpoints 推出极速 Whisper 转录部署，性能提升 8 倍
Hugging Face 在 Inference Endpoints 上线新版 OpenAI Whisper 部署方案，基于 vLLM 实现，转录性能较此前版本最高提升 8 倍，Whisper Large V3 的 RTFx 提升近 8 倍且转录质量无损。
OpenAI NewsAI 评分2222 Speak 如何用 AI 实现语言学习个性化
Speak CEO 兼联合创始人 Connor Zwick 在对话中介绍了 Speak 如何用 AI 实现语言学习个性化。
Hugging Face BlogAI 评分4747 Hugging Face 与 Cloudflare 合作，用 FastRTC 实现实时语音与视频无缝连接
Hugging Face 与 Cloudflare 达成合作，FastRTC 开发者凭 Hugging Face Access Token 即可免费使用 Cloudflare 覆盖 335 个地点的全球 TURN 网络，每月免费传输 10GB 数据且无需信用卡。该集成将在 FastRTC 0.0.20 及以上版本中提供，超出限额后可切换至 Cloudflare 账户扩容。
OpenAI NewsAI 评分2020 ChatGPT 的视觉与语音功能
ChatGPT 的视觉与语音功能可帮助团队处理多模态输入，并以更自然的方式沟通。
OpenAI News精选AI 评分6262 OpenAI 在 API 中推出新一代音频模型
OpenAI 在 API 中推出新一代音频模型，开发者首次可以指示文本转语音模型以特定方式说话，例如“像一位有同理心的客服人员那样说话”，为语音智能体带来新的定制能力。
推荐理由：OpenAI 在 API 中上线新一代音频模型，开发者可首次用自然语言指令控制语音表达方式。
Hugging Face BlogAI 评分3838 Hugging Face 与 IISc 合作，推动印度多语言模型构建
Hugging Face 与印度科学研究所（IISc）及 ARTPARK 达成合作，旨在提升印度多模态多语言数据集 Vaani 的可访问性与易用性。Vaani 由 IISc/ARTPARK 与 Google 于 2022 年发起，目标采集超 15 万小时语音和 1.5 万小时转写文本，覆盖全印 773 个地区、100 万人，目前已开源 790 小时转写音频，涵盖 54 种语言。
Hugging Face Blog精选AI 评分6969 Hugging Face 发布 FastRTC：面向 Python 的实时通信库
Hugging Face 发布 FastRTC，一个用 Python 构建实时音频和视频 AI 应用的通信库，内置自动语音检测与轮次切换、WebRTC 与 Websocket 支持，以及可直接测试的 Gradio UI。
推荐理由：原文给出 FastRTC 的核心能力与最小示例，读者可据此判断在 Python 中搭建实时语音应用的接入成本。
Hugging Face BlogAI 评分4747 Artificial Analysis 发布 Big Bench Audio，评估音频推理能力
Artificial Analysis 发布 Big Bench Audio 音频推理评测数据集，包含 1000 道来自 Big Bench Hard 四个类别的音频题目。
OpenAI News精选AI 评分7878 OpenAI 发布 o1 模型及多项开发者工具更新
OpenAI 发布 o1 模型，并同步带来 Realtime API 改进、新的微调方法等面向开发者的更新。官方称此次更新面向开发者，涵盖模型与工具两方面。
推荐理由：OpenAI 官方一次性公布 o1 模型与 Realtime API、微调方法等开发者工具更新，可据此了解其开发者侧能力布局。
Hugging Face BlogAI 评分3838 Hugging Face 如何在 Inference Endpoints 上部署 Speech-to-Speech
Hugging Face 发布 Speech-to-Speech（S2S）级联流水线，整合 VAD、STT、语言模型与 TTS，支持英语、法语、西班牙语、中文、日语和韩语，可单语言运行或用 auto 标志自动检测语言。
OpenAI News精选AI 评分7373 OpenAI 推出 Realtime API
OpenAI 发布 Realtime API，开发者现在可以在自己的应用中构建快速的语音到语音体验。
推荐理由：OpenAI 开放 Realtime API，开发者可据此判断语音交互应用的接入方式与能力边界。