跳到正文

#语音

今日 0 条
10月16日周五
10月7日周三
  1. Hugging Face Blog42

    TII 推出 Falcon-ASR:1.6B 参数阿拉伯语语音识别模型,聚焦阿联酋方言

    阿布扎比技术创新研究院(TII)发布 Falcon-ASR,一个 1.6B 参数的语音识别模型,重点支持阿联酋方言,同时覆盖英语、法语、西班牙语和葡萄牙语。在六个阿拉伯语测试集上平均 WER 为 20.92%,优于榜单快照中最佳公开结果 23.17%;内部阿联酋方言评测 WER 22.73%、CER 10.19%,均低于对比系统。

9月25日周五
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带口型同步、自然表情和流畅轮次的视觉化对话。

    推荐理由:官方给出 Live Avatar 的实时视频对话、异步工具调用与 97 种语言切换能力,可据此判断企业级多模态交互的落地形态。

9月23日周三
  1. Google DeepMind74

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS

    Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音生成模型,前者面向角色设计与逐句表演指导,后者面向高并发配音与语音智能体。

    推荐理由:官方给出两款 TTS 的定位差异、可用入口与基准排名,便于判断语音生成在配音和智能体场景的落地方式。

9月16日周三
8月27日周四
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.5 Transcribe 语音转文本模型

    Google DeepMind 发布 Gemini 3.5 Transcribe,称其为目前最精确的语音转文本模型,可将原始音频直接转为准确、格式化文本。据 Artificial Analysis 测量,流式场景平均词错误率 4.0%,非流式 2.6%,最终转写时间较上一代 Chirp 3 改善 70%;在 FLEURS 基准上流式 WER 为 5.50%、非流式 5.04%。

    推荐理由:官方给出 WER、延迟与多语言等指标,并对比上一代 Chirp 3,便于判断语音转写的能力边界。

8月11日周二
  1. Hugging Face Blog62

    NVIDIA 发布 Magpie TTS 多语言版:364M 开放权重,新增阿拉伯语、韩语和巴西葡萄牙语

    NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数开放权重模型,支持 12 种语言,新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升了多种既有语言的质量。

    推荐理由:原文给出 364M 开源 TTS 的多语言扩展与各 GPU 上的 TTFA 实测数据,便于评估自建语音链路的延迟预算。

7月30日周四
  1. Google DeepMind60

    Google DeepMind 在 Google Flow Music 发布 Lyria 3.5 音乐生成模型

    Google DeepMind 发布新一代音乐生成模型 Lyria 3.5,并在 Google Flow Music 中上线。官方称其在音乐性、歌词、人声和创作控制四方面均有提升:旋律结构更丰富自然,歌词质量与提示词遵循、结构感知更好,人声更具表现力和情感且发音改善,同时可更便捷地控制输出节奏与时长。

    推荐理由:官方给出 Lyria 3.5 在旋律、歌词、人声与创作控制上的具体改进,可据此判断音乐生成能力的变化。

7月8日周三
6月9日周二
4月28日周二
  1. Hugging Face Blog71

    NVIDIA 发布 Nemotron 3 Nano Omni:面向文档、音频与视频智能体的长上下文全模态模型

    NVIDIA 发布 Nemotron 3 Nano Omni,一款覆盖文本、图像、视频与音频的全模态理解模型,基于 Nemotron 3 Nano 30B-A3B 骨干,搭配 C-RADIOv4-H 视觉编码器和 Parakeet-TDT-0.6B-v2 音频编码器。

    推荐理由:NVIDIA 开源的全模态模型,给出架构、训练配方与多榜单对比,可据此判断长文档与音视频智能体的选型空间。

4月16日周四
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型

    Google DeepMind 发布 Gemini 3.1 Flash TTS,一款主打可控性、表现力和音质的文本转语音模型,已在 Gemini API 和 Google AI Studio 面向开发者预览,企业版在 Vertex AI 预览,Workspace 用户可通过 Google Vids 使用。

    推荐理由:官方给出 Elo 1211、70+ 语言与 audio tags 等具体指标,可据此判断语音生成的可控性进展。

3月26日周四
  1. Google DeepMind76

    Google DeepMind 发布 Gemini 3.1 Flash Live 语音模型

    Google DeepMind 发布 Gemini 3.1 Flash Live,称其为目前质量最高的音频与语音模型,具备更高精度和更低延迟。该模型在 ComplexFuncBench Audio 上以 90.8% 领先上一代,在 Scale AI 的 Audio MultiChallenge 上开启 thinking 后得分为 36.1%。

    推荐理由:官方给出语音模型的基准成绩与多产品接入路径,可据此判断实时语音智能体的可用性变化。

3月24日周二
  1. Mistral AI71

    Mistral AI 发布 Voxtral TTS 语音合成模型

    Mistral AI 发布首个文本转语音模型 Voxtral TTS,4B 参数,支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语 9 种语言,具备情感表达与零样本跨语言音色适配能力。

    推荐理由:原文给出 4B 参数、9 种语言与 70ms 延迟等具体指标,读者可据此判断语音智能体的成本与可用性。

2月5日周四
1月14日周三
  1. Google Research62

    Google 发布 MedGemma 1.5 4B 与医疗语音模型 MedASR

    Google 发布 MedGemma 1.5 4B,新增对 CT、MRI 和全切片病理等高维医学影像的支持,并保留 2D 图像与文本能力。官方称在内部基准上,CT 病灶分类准确率从 58% 提升到 61%,MRI 从 51% 提升到 65%,MedQA 从 64% 提升到 69%。

    推荐理由:官方给出 MedGemma 1.5 与 MedASR 的基准对比和开源入口,可据此判断医疗多模态模型的可用边界。

12月13日周六
8月28日周四
7月15日周二
  1. Mistral AI80

    Mistral 发布 Voxtral 语音理解模型,24B 与 3B 双版本开源

    Mistral 发布 Voxtral 语音理解模型,提供 24B 和 3B 两种尺寸,均以 Apache 2.0 许可开源并上线 API。模型支持 32k token 上下文,可处理最长 30 分钟音频转写或 40 分钟音频理解,具备内置问答与摘要、多语言自动检测和语音触发函数调用能力。

    推荐理由:Mistral 开源语音理解模型,给出两种尺寸、Apache 2.0 许可与 API 定价,读者可据此判断语音能力的开放程度与成本。

12月17日周二
  1. OpenAI News78

    OpenAI 发布 o1 模型及多项开发者工具更新

    OpenAI 发布 o1 模型,并同步带来 Realtime API 改进、新的微调方法等面向开发者的更新。官方称此次更新面向开发者,涵盖模型与工具两方面。

    推荐理由:OpenAI 官方一次性公布 o1 模型与 Realtime API、微调方法等开发者工具更新,可据此了解其开发者侧能力布局。

5月13日周一
  1. OpenAI News82

    OpenAI 发布新旗舰模型 GPT-4o

    OpenAI 宣布推出新旗舰模型 GPT-4 Omni(GPT-4o),可实时跨音频、视觉和文本进行推理。

    推荐理由:OpenAI 发布新旗舰模型 GPT-4o,可实时跨音频、视觉和文本推理,读者可据此了解其多模态能力定位。

9月21日周三
4月30日周四
  1. OpenAI News78

    OpenAI 发布生成音乐的神经网络 Jukebox

    OpenAI 推出 Jukebox,一个能生成音乐的神经网络,可输出多种流派和艺术家风格的原始音频,并包含初步的歌唱。OpenAI 同时公开了模型权重和代码,以及一个用于试听生成样本的工具。

    推荐理由:OpenAI 公开 Jukebox 的模型权重与代码,读者可了解这套生成原始音频的神经网络能产出哪些风格的音乐。