Mistral 发布 Voxtral Transcribe 2 语音转写模型家族
Mistral 发布 Voxtral Transcribe 2，包含面向批量转写的 Voxtral Mini Transcribe V2 和面向实时场景的 Voxtral Realtime 两款语音转文字模型。
推荐理由：官方给出两款语音转写模型的延迟、错误率与定价对比，可据此判断实时语音应用的落地成本。
语音与音频
全部主题AI 语音与音频的进展：语音合成、实时对话、音乐生成与音频理解的模型与产品。
最新精选
第 21–40 条 · 共 42 条Mistral AI精选AI 评分7878
Google Research精选AI 评分6262 Google 发布 MedGemma 1.5 4B 与医疗语音模型 MedASR
Google 发布 MedGemma 1.5 4B，新增对 CT、MRI 和全切片病理等高维医学影像的支持，并保留 2D 图像与文本能力。官方称在内部基准上，CT 病灶分类准确率从 58% 提升到 61%，MRI 从 51% 提升到 65%，MedQA 从 64% 提升到 69%。
推荐理由：官方给出 MedGemma 1.5 与 MedASR 的基准对比和开源入口，可据此判断医疗多模态模型的可用边界。
Google DeepMind精选AI 评分7878 Google DeepMind 发布升级版 Gemini 2.5 Flash Native Audio
Google DeepMind 发布升级版 Gemini 2.5 Flash Native Audio，面向实时语音智能体，在复杂工作流处理、指令遵循和多轮对话上做了改进。
推荐理由：官方给出函数调用、指令遵循与多轮对话三项能力的具体提升数据，可据此判断语音智能体的可用边界。
Google Research精选AI 评分7676 Google 发布端到端实时语音翻译模型，延迟降至 2 秒
Google Research 发布端到端语音到语音翻译（S2ST）模型，直接生成译文音频并保留原说话人音色，延迟从级联方案的 4–5 秒降至 2 秒。该模型基于 AudioLM 框架和 Transformer 模块，采用流式编码器与解码器，并用时间同步数据管线训练，音频以 RVQ token 表示，100 ms 片段约需 16 个 token。
推荐理由：Google 端到端语音翻译把延迟从 4–5 秒压到 2 秒，并已落地 Meet 与 Pixel 10，可据此判断实时同传的可用边界。
OpenAI News精选AI 评分7272 OpenAI 发布 gpt-realtime 并更新 Realtime API
OpenAI 发布更先进的语音到语音模型 gpt-realtime，并更新 Realtime API。新 API 能力包括 MCP server 支持、图像输入和 SIP 电话呼叫支持。
推荐理由：OpenAI 发布新一代语音到语音模型并扩展 Realtime API，读者可了解语音智能体接入电话与工具的新入口。
Mistral AI精选AI 评分6666 Mistral 为 Le Chat 推出 Deep Research、语音模式等多项新功能
Mistral 为 Le Chat 上线一批新功能，包括预览版 Deep Research 模式、由新语音模型 Voxtral 驱动的语音模式、由推理模型 Magistral 支持的多语言推理、用于整理对话的 Projects，以及与 Black Forest Labs 合作的高级图像编辑。
推荐理由：官方一次性公布 Le Chat 的深度研究、语音、推理与图像编辑多项能力，可据此判断其产品路线与可用入口。
Mistral AI精选AI 评分8080 Mistral 发布 Voxtral 语音理解模型，24B 与 3B 双版本开源
Mistral 发布 Voxtral 语音理解模型，提供 24B 和 3B 两种尺寸，均以 Apache 2.0 许可开源并上线 API。模型支持 32k token 上下文，可处理最长 30 分钟音频转写或 40 分钟音频理解，具备内置问答与摘要、多语言自动检测和语音触发函数调用能力。
推荐理由：Mistral 开源语音理解模型，给出两种尺寸、Apache 2.0 许可与 API 定价，读者可据此判断语音能力的开放程度与成本。
OpenAI News精选AI 评分6262 OpenAI 在 API 中推出新一代音频模型
OpenAI 在 API 中推出新一代音频模型，开发者首次可以指示文本转语音模型以特定方式说话，例如“像一位有同理心的客服人员那样说话”，为语音智能体带来新的定制能力。
推荐理由：OpenAI 在 API 中上线新一代音频模型，开发者可首次用自然语言指令控制语音表达方式。
Hugging Face Blog精选AI 评分6969 Hugging Face 发布 FastRTC：面向 Python 的实时通信库
Hugging Face 发布 FastRTC，一个用 Python 构建实时音频和视频 AI 应用的通信库，内置自动语音检测与轮次切换、WebRTC 与 Websocket 支持，以及可直接测试的 Gradio UI。
推荐理由：原文给出 FastRTC 的核心能力与最小示例，读者可据此判断在 Python 中搭建实时语音应用的接入成本。
OpenAI News精选AI 评分7878 OpenAI 发布 o1 模型及多项开发者工具更新
OpenAI 发布 o1 模型，并同步带来 Realtime API 改进、新的微调方法等面向开发者的更新。官方称此次更新面向开发者，涵盖模型与工具两方面。
推荐理由：OpenAI 官方一次性公布 o1 模型与 Realtime API、微调方法等开发者工具更新，可据此了解其开发者侧能力布局。
OpenAI News精选AI 评分7373 OpenAI 推出 Realtime API
OpenAI 发布 Realtime API，开发者现在可以在自己的应用中构建快速的语音到语音体验。
推荐理由：OpenAI 开放 Realtime API，开发者可据此判断语音交互应用的接入方式与能力边界。
OpenAI News精选AI 评分8282 OpenAI 发布新旗舰模型 GPT-4o
OpenAI 宣布推出新旗舰模型 GPT-4 Omni（GPT-4o），可实时跨音频、视觉和文本进行推理。
推荐理由：OpenAI 发布新旗舰模型 GPT-4o，可实时跨音频、视觉和文本推理，读者可据此了解其多模态能力定位。
OpenAI News精选AI 评分8080 OpenAI 推出 ChatGPT 与 Whisper API
OpenAI 发布 ChatGPT 与 Whisper 的 API，供开发者将对话与语音能力接入自有应用。
Hugging Face Blog精选AI 评分6262 用投机解码让 Whisper 推理提速 2 倍
Hugging Face 博客介绍如何用投机解码将 Whisper 推理速度提升约 2 倍，同时数学上保证输出与单独使用主模型完全一致。
推荐理由：给出 Whisper 投机解码的完整实现与基准数据，读者可据此在现有管线中获得约 2 倍加速且输出不变。
OpenAI News精选AI 评分8080 ChatGPT 新增看、听、说能力
OpenAI 宣布 ChatGPT 新增看、听、说能力，可处理图像与语音输入并语音回复。
Hugging Face Blog精选AI 评分6060 AudioLDM 2 推理加速：用 Diffusers 把生成时间从 14 秒降到 1 秒
Hugging Face 博客介绍如何在 Diffusers 库中加速 AudioLDM 2 的文本到音频推理，通过半精度、flash attention、torch.compile 和更换调度器等方法，把 10 秒音频的生成时间从约 14 秒降到 1 秒以内，音质下降很小。
推荐理由：原文给出四种开箱即用的推理优化手段，读者可据此把 AudioLDM 2 的生成耗时从 14 秒压到 1 秒以内。
OpenAI News精选AI 评分7878 OpenAI 推出 ChatGPT iOS 应用
OpenAI 发布 ChatGPT iOS 应用，可同步对话记录并支持语音输入，同时带来最新的模型改进。
推荐理由：OpenAI 官方发布 ChatGPT iOS 应用，给出对话同步与语音输入两项能力，读者可据此了解移动端入口的初始形态。
Hugging Face Blog精选AI 评分6060 SpeechT5 上线 Hugging Face Transformers，支持语音合成、识别与语音转换
Hugging Face 宣布 SpeechT5 已集成进 Transformers 库，官方 checkpoint 发布在 Hugging Face Hub，并提供语音合成、语音转换和自动语音识别三个 Spaces 演示。
推荐理由：SpeechT5 以同一套编码器解码器架构覆盖 TTS、语音转换与 ASR，读者可据此了解多任务语音模型的复用方式。
Hugging Face Blog精选AI 评分6262 用 🤗 Transformers 微调 Whisper 实现多语言 ASR
Hugging Face 发布教程，介绍如何用 🤗 Transformers 在任意多语言 ASR 数据集上微调 Whisper。教程以 Common Voice 11.0 的印地语为例，用约 8 小时训练数据微调 244M 参数的 Whisper small，最佳 WER 为 32.0%，相比预训练模型的 63.5% 提升 31.5 个百分点。
推荐理由：以 8 小时印地语数据微调 Whisper small 的完整流程，WER 从 63.5% 降至 32.0%，可复用的多语言 ASR 微调方法。
OpenAI News精选AI 评分7878 OpenAI 开源语音识别模型 Whisper
OpenAI 宣布训练并开源神经网络 Whisper，称其在英文语音识别上接近人类水平的鲁棒性和准确率。
推荐理由：OpenAI 开源语音识别模型 Whisper，读者可了解其在英文语音识别上的鲁棒性与准确率定位。