跳到正文

#Microsoft

今日 3 条
2月27日周五
1月20日周二
  1. Hugging Face Blog62

    微软发布 Differential Transformer V2,去掉自定义注意力核并降低训练不稳定

    微软 unilm 团队发布 Differential Transformer V2(DIFF V2),通过增加 query 头但保持 KV 头数量不变,使解码速度与标准 Transformer 持平,且不再需要自定义注意力核。

    推荐理由:微软团队给出 DIFF V2 的注意力实现与消融对比,读者可据此判断差分注意力在解码速度与训练稳定性上的取舍。

11月21日周五
  1. Hugging Face Blog34

    Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道,并发布 60+ 模型趋势预印本

    Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转录赛道,并发布覆盖 60+ 模型、18 家机构、11 个数据集的 ASR 趋势预印本。Conformer 编码器加 LLM 解码器在英语转录准确率上领先,CTC/TDT 解码器吞吐量快 10–100 倍;多语言仍以 Whisper Large v3 为强基线,长音频则闭源系统暂时领先。

10月28日周二
9月11日周四
5月19日周一
9月18日周三
  1. Hugging Face Blog60

    如何把 LLM 微调到 1.58bit:BitNet 极端量化实践

    Hugging Face 团队探索出把已有模型微调到 1.58bit 的方法,无需从零预训练。他们用 BitNet 架构微调 Llama3 8B,其中两个模型在 10B tokens 上微调、第三个在 100B tokens 上微调,模型以 HF1BitLLM 组织发布,在 MMLU 上超过 Llama 1 7B。

    推荐理由:原文给出把已有 Llama3 8B 微调到 1.58bit 的完整流程与踩坑记录,可迁移到其他模型的低比特微调。

6月24日周一
5月21日周二
4月4日周四
  1. Hugging Face Blog38

    Hugging Face 与 Wiz Research 合作提升 AI 安全

    Hugging Face 宣布与云安全公司 Wiz 合作提升其平台及 AI/ML 生态的安全性,Wiz 研究团队通过 pickle 在沙箱计算环境中运行任意代码,发现了平台的安全缺陷,目前所有相关漏洞均已修复。Hugging Face 已将 Wiz 用于漏洞管理和云安全态势管理(CSPM),并基于其工具实现对 Spaces 等产品检测问题的自动修复。

3月22日周五
3月20日周三
2月26日周一
10月25日周三
10月4日周三
5月24日周三
4月14日周五
2月24日周五
  1. Hugging Face Blog38

    Hugging Face 详解大语言模型红队测试:方法、风险与最佳实践

    红队测试通过构造自然语言提示词诱导 LLM 生成有害内容,从而暴露模型漏洞,与对抗攻击不同,其提示词对人类可读。GPT3 早期版本曾表现出性别歧视与针对穆斯林的偏见,微软 Tay 和 Bing 的 Sydney 聊天机器人则是缺乏充分红队评估的反面案例。红队可由人工或另一个 LM 执行,针对经 RLHF 或 SFT 对齐的模型需采用角色扮演等创造性攻击方式,未来需建立多方协作的数据集与最佳实践。

2月8日周三
  1. Hugging Face Blog60

    SpeechT5 上线 Hugging Face Transformers,支持语音合成、识别与语音转换

    Hugging Face 宣布 SpeechT5 已集成进 Transformers 库,官方 checkpoint 发布在 Hugging Face Hub,并提供语音合成、语音转换和自动语音识别三个 Spaces 演示。

    推荐理由:SpeechT5 以同一套编码器解码器架构覆盖 TTS、语音转换与 ASR,读者可据此了解多任务语音模型的复用方式。

1月26日周四
1月24日周二
1月23日周一
11月30日周三
  1. Hugging Face Blog30

    VQ-Diffusion:基于离散隐空间的扩散模型

    中国科学技术大学与微软提出 VQ-Diffusion,一种在量化隐空间上进行加噪与去噪的条件扩散模型,隐空间由离散向量集合构成。该模型使用冻结的 VQ-VAE 编码图像,并以 CLIP 文本编码器加编码器-解码器 Transformer 预测去噪后的隐变量分布。相比自回归模型,VQ-Diffusion 在推理速度、误差累积和方向偏置三方面均有改善,可通过 🧨 Diffusers 几行代码调用。

7月14日周四
6月28日周二
5月23日周一
3月23日周三
10月26日周二
9月22日周二
7月22日周一
  1. OpenAI News78

    微软向 OpenAI 投资 10 亿美元并达成合作

    微软向 OpenAI 投资 10 亿美元,支持其构建通用人工智能(AGI)。双方将在 Microsoft Azure 内共同开发可扩展至 AGI 的硬件和软件平台,联合开发新的 Azure AI 超算技术,微软将成为 OpenAI 的独家云服务商。

    推荐理由:微软向 OpenAI 投资 10 亿美元并成为其独家云服务商,读者可据此了解双方早期合作框架。

11月15日周二