Google 发布 MedGemma 1.5 4B 与医疗语音模型 MedASR
Google 发布 MedGemma 1.5 4B，新增对 CT、MRI 和全切片病理等高维医学影像的支持，并保留 2D 图像与文本能力。官方称在内部基准上，CT 病灶分类准确率从 58% 提升到 61%，MRI 从 51% 提升到 65%，MedQA 从 64% 提升到 69%。
推荐理由：官方给出 MedGemma 1.5 与 MedASR 的基准对比和开源入口，可据此判断医疗多模态模型的可用边界。
#语音
#语音
今日 1 条Google Research精选AI 评分6262
OpenAI NewsAI 评分2222 Tolan 如何用 GPT-5.1 打造语音优先 AI
Tolan 基于 GPT-5.1 打造了一款语音优先的 AI 伴侣，结合低延迟响应、实时上下文重建和记忆驱动的人格，实现自然对话。
Google DeepMind精选AI 评分7878 Google DeepMind 发布升级版 Gemini 2.5 Flash Native Audio
Google DeepMind 发布升级版 Gemini 2.5 Flash Native Audio，面向实时语音智能体，在复杂工作流处理、指令遵循和多轮对话上做了改进。
推荐理由：官方给出函数调用、指令遵循与多轮对话三项能力的具体提升数据，可据此判断语音智能体的可用边界。
Google ResearchAI 评分3636 Google 发布 MSEB：面向听觉智能的大规模声音嵌入基准
Google Research 在 NeurIPS 2025 发布 Massive Sound Embedding Benchmark（MSEB），用于标准化评测声音嵌入模型的八项听觉能力，涵盖检索、推理、分类、转录、分割、聚类、重排与重建。
Hugging Face BlogAI 评分3434 Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道，并发布 60+ 模型趋势预印本
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转录赛道，并发布覆盖 60+ 模型、18 家机构、11 个数据集的 ASR 趋势预印本。Conformer 编码器加 LLM 解码器在英语转录准确率上领先，CTC/TDT 解码器吞吐量快 10–100 倍；多语言仍以 Whisper Large v3 为强基线，长音频则闭源系统暂时领先。
Google Research精选AI 评分7676 Google 发布端到端实时语音翻译模型，延迟降至 2 秒
Google Research 发布端到端语音到语音翻译（S2ST）模型，直接生成译文音频并保留原说话人音色，延迟从级联方案的 4–5 秒降至 2 秒。该模型基于 AudioLM 框架和 Transformer 模块，采用流式编码器与解码器，并用时间同步数据管线训练，音频以 RVQ token 表示，100 ms 片段约需 16 个 token。
推荐理由：Google 端到端语音翻译把延迟从 4–5 秒压到 2 秒，并已落地 Meet 与 Pixel 10，可据此判断实时同传的可用边界。
Hugging Face BlogAI 评分3838 Hugging Face 提出“语音同意门”：让声音克隆必须先获得本人同意
Hugging Face 发布博客提出“语音同意门”（voice consent gate），让模型只有在说话人明确说出同意语句并被 ASR 识别后才启动声音克隆。
OpenAI NewsAI 评分2222 SchoolAI 用 GPT-4.1 打造赋能教师的 AI 平台
SchoolAI 基于 GPT-4.1、图像生成和 TTS 构建安全、教师引导的 AI 工具，已服务超 100 万个课堂，提升参与度、监督能力和个性化学习。
OpenAI News精选AI 评分7272 OpenAI 发布 gpt-realtime 并更新 Realtime API
OpenAI 发布更先进的语音到语音模型 gpt-realtime，并更新 Realtime API。新 API 能力包括 MCP server 支持、图像输入和 SIP 电话呼叫支持。
推荐理由：OpenAI 发布新一代语音到语音模型并扩展 Realtime API，读者可了解语音智能体接入电话与工具的新入口。
Mistral AI精选AI 评分6666 Mistral 为 Le Chat 推出 Deep Research、语音模式等多项新功能
Mistral 为 Le Chat 上线一批新功能，包括预览版 Deep Research 模式、由新语音模型 Voxtral 驱动的语音模式、由推理模型 Magistral 支持的多语言推理、用于整理对话的 Projects，以及与 Black Forest Labs 合作的高级图像编辑。
推荐理由：官方一次性公布 Le Chat 的深度研究、语音、推理与图像编辑多项能力，可据此判断其产品路线与可用入口。
Mistral AI精选AI 评分8080 Mistral 发布 Voxtral 语音理解模型，24B 与 3B 双版本开源
Mistral 发布 Voxtral 语音理解模型，提供 24B 和 3B 两种尺寸，均以 Apache 2.0 许可开源并上线 API。模型支持 32k token 上下文，可处理最长 30 分钟音频转写或 40 分钟音频理解，具备内置问答与摘要、多语言自动检测和语音触发函数调用能力。
推荐理由：Mistral 开源语音理解模型，给出两种尺寸、Apache 2.0 许可与 API 定价，读者可据此判断语音能力的开放程度与成本。
OpenAI NewsAI 评分2222 Retell AI 用 GPT-4o 实现可定制无代码语音智能体自动化
Retell AI 基于 GPT-4o 和 GPT-4.1 打造无代码语音自动化平台，帮助企业上线自然、实时的语音智能体，无需脚本或等待即可自动处理客户对话。该平台可降低通话成本、提升 CSAT，正被用于改造呼叫中心。
Hugging Face BlogAI 评分4242 Hugging Face Inference Endpoints 推出极速 Whisper 转录部署，性能提升 8 倍
Hugging Face 在 Inference Endpoints 上线新版 OpenAI Whisper 部署方案，基于 vLLM 实现，转录性能较此前版本最高提升 8 倍，Whisper Large V3 的 RTFx 提升近 8 倍且转录质量无损。
OpenAI NewsAI 评分2222 Speak 如何用 AI 实现语言学习个性化
Speak CEO 兼联合创始人 Connor Zwick 在对话中介绍了 Speak 如何用 AI 实现语言学习个性化。
Hugging Face BlogAI 评分4747 Hugging Face 与 Cloudflare 合作，用 FastRTC 实现实时语音与视频无缝连接
Hugging Face 与 Cloudflare 达成合作，FastRTC 开发者凭 Hugging Face Access Token 即可免费使用 Cloudflare 覆盖 335 个地点的全球 TURN 网络，每月免费传输 10GB 数据且无需信用卡。该集成将在 FastRTC 0.0.20 及以上版本中提供，超出限额后可切换至 Cloudflare 账户扩容。
OpenAI NewsAI 评分2020 ChatGPT 的视觉与语音功能
ChatGPT 的视觉与语音功能可帮助团队处理多模态输入，并以更自然的方式沟通。
OpenAI News精选AI 评分6262 OpenAI 在 API 中推出新一代音频模型
OpenAI 在 API 中推出新一代音频模型，开发者首次可以指示文本转语音模型以特定方式说话，例如“像一位有同理心的客服人员那样说话”，为语音智能体带来新的定制能力。
推荐理由：OpenAI 在 API 中上线新一代音频模型，开发者可首次用自然语言指令控制语音表达方式。
Hugging Face BlogAI 评分3838 Hugging Face 与 IISc 合作，推动印度多语言模型构建
Hugging Face 与印度科学研究所（IISc）及 ARTPARK 达成合作，旨在提升印度多模态多语言数据集 Vaani 的可访问性与易用性。Vaani 由 IISc/ARTPARK 与 Google 于 2022 年发起，目标采集超 15 万小时语音和 1.5 万小时转写文本，覆盖全印 773 个地区、100 万人，目前已开源 790 小时转写音频，涵盖 54 种语言。
Hugging Face Blog精选AI 评分6969 Hugging Face 发布 FastRTC：面向 Python 的实时通信库
Hugging Face 发布 FastRTC，一个用 Python 构建实时音频和视频 AI 应用的通信库，内置自动语音检测与轮次切换、WebRTC 与 Websocket 支持，以及可直接测试的 Gradio UI。
推荐理由：原文给出 FastRTC 的核心能力与最小示例，读者可据此判断在 Python 中搭建实时语音应用的接入成本。
Hugging Face BlogAI 评分4747 Artificial Analysis 发布 Big Bench Audio，评估音频推理能力
Artificial Analysis 发布 Big Bench Audio 音频推理评测数据集，包含 1000 道来自 Big Bench Hard 四个类别的音频题目。
OpenAI News精选AI 评分7878 OpenAI 发布 o1 模型及多项开发者工具更新
OpenAI 发布 o1 模型，并同步带来 Realtime API 改进、新的微调方法等面向开发者的更新。官方称此次更新面向开发者，涵盖模型与工具两方面。
推荐理由：OpenAI 官方一次性公布 o1 模型与 Realtime API、微调方法等开发者工具更新，可据此了解其开发者侧能力布局。
Hugging Face BlogAI 评分3838 Hugging Face 如何在 Inference Endpoints 上部署 Speech-to-Speech
Hugging Face 发布 Speech-to-Speech（S2S）级联流水线，整合 VAD、STT、语言模型与 TTS，支持英语、法语、西班牙语、中文、日语和韩语，可单语言运行或用 auto 标志自动检测语言。
OpenAI News精选AI 评分7373 OpenAI 推出 Realtime API
OpenAI 发布 Realtime API，开发者现在可以在自己的应用中构建快速的语音到语音体验。
推荐理由：OpenAI 开放 Realtime API，开发者可据此判断语音交互应用的接入方式与能力边界。
OpenAI NewsAI 评分4242 OpenAI 详解 Voice Engine 工作原理及安全研究
OpenAI 详解其文本转语音模型 Voice Engine 的技术原理与安全研究。
OpenAI NewsAI 评分2222 ChatGPT 的语音是如何选出的
OpenAI 与业内顶尖选角及导演专业人士合作，从 400 多份投稿中筛选，最终为 ChatGPT 选定 5 个语音。
OpenAI News精选AI 评分8282 OpenAI 发布新旗舰模型 GPT-4o
OpenAI 宣布推出新旗舰模型 GPT-4 Omni（GPT-4o），可实时跨音频、视觉和文本进行推理。
推荐理由：OpenAI 发布新旗舰模型 GPT-4o，可实时跨音频、视觉和文本推理，读者可据此了解其多模态能力定位。
Hugging Face BlogAI 评分5050 Hugging Face Inference Endpoints 实现 Whisper ASR + 说话人分离 + 推测解码
Hugging Face 通过自定义 inference handler 在 Inference Endpoints 上部署 Whisper，实现 ASR、说话人分离与推测解码的组合流水线。
OpenAI News精选AI 评分8080 OpenAI 推出 ChatGPT 与 Whisper API
OpenAI 发布 ChatGPT 与 Whisper 的 API，供开发者将对话与语音能力接入自有应用。
OpenAI NewsAI 评分3838 OpenAI 分享 Voice Engine 自定义语音模型小规模预览的经验
OpenAI 分享了自定义语音生成模型 Voice Engine 小规模预览的经验教训。该模型可根据样本创建定制声音，目前仍处于小范围测试阶段。
Hugging Face BlogAI 评分5858 Hugging Face 发布 TTS Arena，用盲测投票给语音合成模型排名
Hugging Face 发布 TTS Arena，用户输入文本后由两个模型分别合成语音，投票选出更自然的一方，结果汇总为公开排行榜。首批参评模型包括 ElevenLabs、MetaVoice、OpenVoice、Pheme、WhisperSpeech 和 XTTS，投票前不显示模型名称以避免偏见。榜单初期为空，随投票累积自动更新，排名采用类似 Elo 的算法。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 微调 W2V2-BERT 实现低资源 ASR
Hugging Face 发布教程，演示如何用 🤗 Transformers 微调 facebook/w2v-bert-2.0 完成低资源 ASR。
Hugging Face Blog精选AI 评分6262 用投机解码让 Whisper 推理提速 2 倍
Hugging Face 博客介绍如何用投机解码将 Whisper 推理速度提升约 2 倍，同时数学上保证输出与单独使用主模型完全一致。
推荐理由：给出 Whisper 投机解码的完整实现与基准数据，读者可据此在现有管线中获得约 2 倍加速且输出不变。
OpenAI News精选AI 评分8080 ChatGPT 新增看、听、说能力
OpenAI 宣布 ChatGPT 新增看、听、说能力，可处理图像与语音输入并语音回复。
Hugging Face Blog精选AI 评分6060 AudioLDM 2 推理加速：用 Diffusers 把生成时间从 14 秒降到 1 秒
Hugging Face 博客介绍如何在 Diffusers 库中加速 AudioLDM 2 的文本到音频推理，通过半精度、flash attention、torch.compile 和更换调度器等方法，把 10 秒音频的生成时间从约 14 秒降到 1 秒以内，音质下降很小。
推荐理由：原文给出四种开箱即用的推理优化手段，读者可据此把 AudioLDM 2 的生成耗时从 14 秒压到 1 秒以内。
Hugging Face BlogAI 评分2222 使用 🤗 Transformers 优化 Bark 文本转语音模型
Hugging Face 发布教程，演示如何用 Transformers、Optimum 和 Accelerate 库优化 Suno AI 的 TTS 模型 Bark。
Hugging Face BlogAI 评分5050 如何为低资源 ASR 微调 MMS Adapter 模型
Hugging Face 发布教程，介绍如何基于 Meta AI 的 MMS 检查点微调 Adapter 层以适配低资源语言的 ASR。MMS 预训练检查点覆盖 1400 多种语言、参数量 300M 至 1B，每个 Adapter 层仅约 2.5M 权重，微调 10-20 分钟即可获得极低词错误率。低资源语言推荐用 Adapter 训练替代全模型微调，更省内存且性能更好。
Hugging Face BlogAI 评分2222 如何在 Unity 中用 Hugging Face Unity API 实现语音识别
Hugging Face 发布教程，讲解如何在 Unity 游戏中通过 Hugging Face Unity API 实现语音识别，将语音转为文本，可用于下达指令、与 NPC 对话或提升无障碍体验。教程演示了搭建含开始/停止按钮与 TextMeshPro 文本框的场景，用 Microphone.Start() 以 44100 Hz 录制最长 10 秒音频，再编码为 WAV 格式发送至 API。
OpenAI News精选AI 评分7878 OpenAI 推出 ChatGPT iOS 应用
OpenAI 发布 ChatGPT iOS 应用，可同步对话记录并支持语音输入，同时带来最新的模型改进。
推荐理由：OpenAI 官方发布 ChatGPT iOS 应用，给出对话同步与语音输入两项能力，读者可据此了解移动端入口的初始形态。
Hugging Face Blog精选AI 评分6060 SpeechT5 上线 Hugging Face Transformers，支持语音合成、识别与语音转换
Hugging Face 宣布 SpeechT5 已集成进 Transformers 库，官方 checkpoint 发布在 Hugging Face Hub，并提供语音合成、语音转换和自动语音识别三个 Spaces 演示。
推荐理由：SpeechT5 以同一套编码器解码器架构覆盖 TTS、语音转换与 ASR，读者可据此了解多任务语音模型的复用方式。
Hugging Face BlogAI 评分2828 Hugging Face 音频数据集完全指南：用 🤗 Datasets 一行代码加载与处理
Hugging Face 发布音频数据集使用指南，介绍如何用 🤗 Datasets 的 load_dataset 函数一行代码下载并准备音频数据。目前 Hub 上已有 77 个语音识别数据集和 28 个音频分类数据集，并支持 Dataset Preview 在线试听样本。