IBM 发布 Granite Switch 4.1:单端点支持对话、决策与语音
IBM 发布 Granite Switch 4.1,包含 Granite-Switch-4.1-8B 和 -30B,在单一托管端点上同时支持自然语言对话、通用与专用决策以及语音转文字。
推荐理由:Granite Switch 4.1 把决策适配器与 ASR 模型合入同一端点,读者可据此判断多任务模型在显存与推理速度上的取舍。
IBM 发布 Granite Switch 4.1,包含 Granite-Switch-4.1-8B 和 -30B,在单一托管端点上同时支持自然语言对话、通用与专用决策以及语音转文字。
推荐理由:Granite Switch 4.1 把决策适配器与 ASR 模型合入同一端点,读者可据此判断多任务模型在显存与推理速度上的取舍。
阿布扎比技术创新研究院(TII)发布 Falcon-ASR,一个 1.6B 参数的语音识别模型,重点支持阿联酋方言,同时覆盖英语、法语、西班牙语和葡萄牙语。在六个阿拉伯语测试集上平均 WER 为 20.92%,优于榜单快照中最佳公开结果 23.17%;内部阿联酋方言评测 WER 22.73%、CER 10.19%,均低于对比系统。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带口型同步、自然表情和流畅轮次的视觉化对话。
推荐理由:官方给出 Live Avatar 的实时视频对话、异步工具调用与 97 种语言切换能力,可据此判断企业级多模态交互的落地形态。
Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音生成模型,前者面向角色设计与逐句表演指导,后者面向高并发配音与语音智能体。
推荐理由:官方给出两款 TTS 的定位差异、可用入口与基准排名,便于判断语音生成在配音和智能体场景的落地方式。
Google DeepMind 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 两款实时语音对话模型,前者面向规模与成本效率,后者面向高复杂度任务与多步推理。
推荐理由:两款语音对话模型同时给出基准成绩与开放入口,读者可据此判断实时语音智能体的能力水位与落地路径。
Google DeepMind 发布 Gemini 3.5 Transcribe,称其为目前最精确的语音转文本模型,可将原始音频直接转为准确、格式化文本。据 Artificial Analysis 测量,流式场景平均词错误率 4.0%,非流式 2.6%,最终转写时间较上一代 Chirp 3 改善 70%;在 FLEURS 基准上流式 WER 为 5.50%、非流式 5.04%。
推荐理由:官方给出 WER、延迟与多语言等指标,并对比上一代 Chirp 3,便于判断语音转写的能力边界。
NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数开放权重模型,支持 12 种语言,新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升了多种既有语言的质量。
推荐理由:原文给出 364M 开源 TTS 的多语言扩展与各 GPU 上的 TTFA 实测数据,便于评估自建语音链路的延迟预算。
Google DeepMind 发布新一代音乐生成模型 Lyria 3.5,并在 Google Flow Music 中上线。官方称其在音乐性、歌词、人声和创作控制四方面均有提升:旋律结构更丰富自然,歌词质量与提示词遵循、结构感知更好,人声更具表现力和情感且发音改善,同时可更便捷地控制输出节奏与时长。
推荐理由:官方给出 Lyria 3.5 在旋律、歌词、人声与创作控制上的具体改进,可据此判断音乐生成能力的变化。
OpenAI 发布新一代语音模型 GPT-Live,用于实现更自然的人机交互,目前已为 ChatGPT Voice 提供支持。
推荐理由:OpenAI 发布新一代语音模型 GPT-Live,读者可了解 ChatGPT Voice 背后的模型换代。
Google DeepMind 发布 Gemini 3.5 Live Translate,这是一款支持 70 多种语言的近实时语音到语音翻译音频模型,可自动检测语种并保留说话人的语调、节奏和音高。
推荐理由:官方披露了连续生成语音的取舍机制与 70+ 语种覆盖,可据此判断实时翻译的可用边界。
NVIDIA 发布 Nemotron 3 Nano Omni,一款覆盖文本、图像、视频与音频的全模态理解模型,基于 Nemotron 3 Nano 30B-A3B 骨干,搭配 C-RADIOv4-H 视觉编码器和 Parakeet-TDT-0.6B-v2 音频编码器。
推荐理由:NVIDIA 开源的全模态模型,给出架构、训练配方与多榜单对比,可据此判断长文档与音视频智能体的选型空间。
Google DeepMind 发布 Gemini 3.1 Flash TTS,一款主打可控性、表现力和音质的文本转语音模型,已在 Gemini API 和 Google AI Studio 面向开发者预览,企业版在 Vertex AI 预览,Workspace 用户可通过 Google Vids 使用。
推荐理由:官方给出 Elo 1211、70+ 语言与 audio tags 等具体指标,可据此判断语音生成的可控性进展。
Google DeepMind 发布 Gemini 3.1 Flash Live,称其为目前质量最高的音频与语音模型,具备更高精度和更低延迟。该模型在 ComplexFuncBench Audio 上以 90.8% 领先上一代,在 Scale AI 的 Audio MultiChallenge 上开启 thinking 后得分为 36.1%。
推荐理由:官方给出语音模型的基准成绩与多产品接入路径,可据此判断实时语音智能体的可用性变化。
Mistral AI 发布首个文本转语音模型 Voxtral TTS,4B 参数,支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语 9 种语言,具备情感表达与零样本跨语言音色适配能力。
推荐理由:原文给出 4B 参数、9 种语言与 70ms 延迟等具体指标,读者可据此判断语音智能体的成本与可用性。
Mistral 发布 Voxtral Transcribe 2,包含面向批量转写的 Voxtral Mini Transcribe V2 和面向实时场景的 Voxtral Realtime 两款语音转文字模型。
推荐理由:官方给出两款语音转写模型的延迟、错误率与定价对比,可据此判断实时语音应用的落地成本。
Google 发布 MedGemma 1.5 4B,新增对 CT、MRI 和全切片病理等高维医学影像的支持,并保留 2D 图像与文本能力。官方称在内部基准上,CT 病灶分类准确率从 58% 提升到 61%,MRI 从 51% 提升到 65%,MedQA 从 64% 提升到 69%。
推荐理由:官方给出 MedGemma 1.5 与 MedASR 的基准对比和开源入口,可据此判断医疗多模态模型的可用边界。
Google DeepMind 发布升级版 Gemini 2.5 Flash Native Audio,面向实时语音智能体,在复杂工作流处理、指令遵循和多轮对话上做了改进。
推荐理由:官方给出函数调用、指令遵循与多轮对话三项能力的具体提升数据,可据此判断语音智能体的可用边界。
OpenAI 发布更先进的语音到语音模型 gpt-realtime,并更新 Realtime API。新 API 能力包括 MCP server 支持、图像输入和 SIP 电话呼叫支持。
推荐理由:OpenAI 发布新一代语音到语音模型并扩展 Realtime API,读者可了解语音智能体接入电话与工具的新入口。
Mistral 发布 Voxtral 语音理解模型,提供 24B 和 3B 两种尺寸,均以 Apache 2.0 许可开源并上线 API。模型支持 32k token 上下文,可处理最长 30 分钟音频转写或 40 分钟音频理解,具备内置问答与摘要、多语言自动检测和语音触发函数调用能力。
推荐理由:Mistral 开源语音理解模型,给出两种尺寸、Apache 2.0 许可与 API 定价,读者可据此判断语音能力的开放程度与成本。
OpenAI 发布 o1 模型,并同步带来 Realtime API 改进、新的微调方法等面向开发者的更新。官方称此次更新面向开发者,涵盖模型与工具两方面。
推荐理由:OpenAI 官方一次性公布 o1 模型与 Realtime API、微调方法等开发者工具更新,可据此了解其开发者侧能力布局。
OpenAI 宣布推出新旗舰模型 GPT-4 Omni(GPT-4o),可实时跨音频、视觉和文本进行推理。
推荐理由:OpenAI 发布新旗舰模型 GPT-4o,可实时跨音频、视觉和文本推理,读者可据此了解其多模态能力定位。
OpenAI 宣布训练并开源神经网络 Whisper,称其在英文语音识别上接近人类水平的鲁棒性和准确率。
推荐理由:OpenAI 开源语音识别模型 Whisper,读者可了解其在英文语音识别上的鲁棒性与准确率定位。
OpenAI 推出 Jukebox,一个能生成音乐的神经网络,可输出多种流派和艺术家风格的原始音频,并包含初步的歌唱。OpenAI 同时公开了模型权重和代码,以及一个用于试听生成样本的工具。
推荐理由:OpenAI 公开 Jukebox 的模型权重与代码,读者可了解这套生成原始音频的神经网络能产出哪些风格的音乐。